钟运琴老师简介
钟运琴
数据仓库 Hadoop开发专家、
云计算建设与优化、
Linux系统管理与维护授课专家。
现任中国科学院计算技术研究所助理研究员(中级职称)。2008 年 9 月至 2013 年 6 月在中国科学院计算技术研究所攻读计算机系统结构专业硕博连读研究生,获工学博士学位。 2013 年7 月份起留在中科院计算所工作,担任助理研究员(中级职称)。从 2008 年 12 月起,主要从事云计算和大规模数据管理方面的研究,精通云计算平台和大规模数据库管理系统内部实现细节,包括Hadoop、键值存储系统(KVS) 、NoSQ (HBase、Cassandra、Membase/ Memcached)数据库和数据仓库(HIVE)。近五年来,参与了 4 项云计算和数据管理相关的国家 863 计划、973 计划和自然科学基金科研项目,在学术期刊和国际会议上发表了 SCI/EI 索引学术论文 8 篇,合作授权专利 1 项。硕博连读期间获得中科院国家奖学金 1 次、三好学生 3 次、中国科学院优秀博士毕业生和北京市普通高等学校优秀毕业生等荣誉称号。具有 3 年多的计算机程序设计任教和培训讲师(兼职)经验。
1. 主要规划经历
2008-2010 担任公司战略分析研究员,负责产业分析,撰写产业报告和决策报告;制定产品规划和研发路线,制定大项目整体产品方案。在08年准确预测了5年后国家4G牌照发放时间,及产业规模。在06-09年期间,成功把握未来5G移动通信研究方向。
2010-2011 主持电力系统无线专网,为客户提供市场、技术咨询,并提供大项目解决方案;完成系统设计、研发、推广、布网工作。
2011-2012 曾任大型石油行业信息化ERP云计算平台项目经理,提供咨询,需求分析、项目整体技术解决方案和标准制定;并进行后续系统设计。
2012-2014 担任某市智慧城市大型IT集成项目经理,负责前期总体方案设计,云计算平台搭建,通信子系统设计。
2. 培训经历
培训客户包括:中海油气电集团、中国移动、中国普天、国道数据、超威电池等几十家大、中型企业,有着非常深厚的理论基础和丰富的实际培训工作经验。
3. 技术方向
熟悉主流的云计算平台,并有商业与开源云计算平台的实践经验;
对云计算关键技术有深刻了解和实践经验,如分布式系统、虚拟化、分布式文件系统、云存储等;
对大数据关键技术有深刻了解和实践经验,如NoSQL数据库、大数据处理、Hadoop、Hive、HBase、Spark等。
4. 主讲课程
云计算平台、架构与技术;虚拟化;大数据;云存储等相关课程。
5. 研究及项目经历
基于Amazon EC2云计算平台的Web应用动态资源分配与调度 。
作为项目负责人,进行以下工作:
调研主流商业与开源云计算平台(Amazon EC2, Rackspace, Eucalyptus)的架构与虚拟机性能特性,并使用上述云平台搭建Web应用运行环境;
针对云计算平台虚拟机性能异构特性,提出利用在线Profiling技术对虚拟机进行性能建模,并进行性能预测的动态资源分配机制;
在Amazon EC2上开发实现上述动态资源分配机制。
基于Hadoop的海量数据分析系统
作为项目核心骨干,进行以下三方面工作:
掌握Hadoop框架核心技术,HDFS部署,MapReduce开发,以及Hadoop调优 ;
基于列存储的Hadoop海量数据分析系统开发,支持列存储,支持数据段内快速索引查询,支持SQL接口查询,支持兼容Hive;
掌握Hadoop框架外延系统HBase,Hive等;掌握基于内存的大数据分析框架Spark。
基于NoSQL数据库的高可伸缩性Web应用系统开发
作为项目主要负责人,进行以下四方面工作:
研究当前用于提升Web应用可伸缩性的主流技术,调研主流的Key-Value数据存储和NoSQL数据库,如Google Bigtable,HBase,MongoDB,Cassandra等;
根据数据库事务处理、写操作和读操作的不同特点,对Web应用数据按属性进行垂直分解,并对数据进行重新聚合,便于进一步应用可伸缩性技术;
针对Web应用语义特点,基于元组进行水平分解,进一步提升Web应用可伸缩性;
基于Web应用标准测试程序实现数据分解技术,利用NoSQL数据库进行应用伸缩开发。
Platform as a Service(PaaS)平台开发项目。
作为项目主要负责人,负责以下三方面工作:
参与Platform as a Service平台的架构设计和模块设计。该项目建立一个类似Google App Engine的应用平台,为第三方应用提供应用程序和数据的部署接口,同时负责监测应用的运行时负载情况,根据SLA协议对进行动态资源供应;
协调、辅助项目各模块小组的工作;
负责平台应用部署、数据部署、负载均衡、负载监测以及资源管理模块的系统整合工作。