“基于高性能计算机群的基因数据库和海量数据挖掘功能开发.doc

“基于高性能计算机群的基因数据库和海量数据挖掘功能开发”项目进展 项目具体技术方案和技术路线 在我所6万亿次HP高性能计算机群基础上，使用最新的开源大数据技术建设基因组数据库和进行数据挖掘。在高性能计算机群上添加一个hadoop的平台，首先使用本地硬盘搭建HDFS文件系统，把新的apache hadoop软件平台(包括Hbase, zookeper，hive）搭建在这个文件系统上，用nosql数据库（拟采用hbase）抽取基因组数据建库，同时在这个平台上用mysql或者oracle标准版构建与hbase接口的后端数据库，针对一到两个物种建立基因组数据库。 上述技术方案路线仿制oracle、IBM大数据机的结构，在现有高性能机群建设一个大数据平台，移植一到两个mapreduce生物信息应用程序，建设基于NoSql数据库技术的基因数据库。因为我们现有的高性能机群和oracle大数据机硬件上差别不大，所以主要是软件平台的搭建，购置少量的本地硬盘用于HDFS。 目前已经完成的工作 与某公司达成意向，合作建设大数据平台（目前处于合同细节商定、签署阶段） 基因库于3月中旬到我所当面沟通交流合作事宜 正在进行的工作 大数据技术深入学习、培训阶段（hadoop、hbase） HDFS文件系统搭建阶段 系统硬件购置工作 HBASE安装建设工作 与某公司合作合同洽谈中 项目后续执行计划 2013年9月-10月，完成项目软硬件购置工作、第一期大数据培训课程 2013年10月-11月与某公司工程师陈威、刘凯完成大数据平台第一期建设，包括HDFS、HBASE，相关系统调试工作 2013年12月-2014春节前，完成大数据平台二期建设，包括该公司大数据软件组件的建设、调试、培训 2014年2月-4月，完成大数据平台的全部软硬件建设工作，与厂商合作完成一个mapreduce算法移植工作 2014年4月，赴基因库商谈数据库数据共享事宜 2014年5月-8月，完成一个基因组HBASE数据库建设 2014年7月-10月，大数据平台和HBASE数据库的应用软件开发移植 2014年10月-12月，项目缓冲时间