基于 MapReduce 的基因数据密度层次聚类算法.pdfVIP

第４４卷第７期 Vol ．４４ ，No ．７ ２ ０ １ ４年 ７月 JOURNAL OF UNIVERSITY OF SCIENCE AND TECHNOLOGY OF CHINA Jul ．２ ０ １ ４ 文章编号 ：０２５３‐２７７８（２０１４）０７‐０５３７‐０７ 收稿日期 ：２０１４‐０３‐２１ ；修回日期 ：２０１４‐０６‐１５ 基金项目 ：国家自然科学基金 ） ，江苏省自然科学基金重点重大专项 （BK２０１１００５ ） ，江苏省自然科学基金 （BK２０１１７８２） ，江苏省普通高校研究生科研创新计划项目（CXLX１２＿０４１５）资助 ． 作者简介 ：涂金金 ，男 ，１９８８ 年生 ，硕士生 ．研究方向 ：机器学习 、模式识别 ．E‐ a l ： uj nj n１９８８＠ s na ．co 通讯作者 ：杨明 ，男 ，博士／教授 ．E‐ a l ： yang＠ njnu ．edu ．cn 基于 MapReduce 的基因数据密度层次聚类算法 涂金金 ，杨 明 ，郭丽娜 （南京师范大学计算机科学与技术学院 ，江苏南京 ２１００４６） 摘要 ：随着生物信息技术的快速发展 ，基因表达数据的规模急剧增长 ，这给传统的基因表达数据聚 类算法带来了严峻的挑战 ．基于密度的层次聚类（DHC）能够较好地解决基因表达数据嵌套类问题 且鲁棒性较好 ，但处理海量数据的效率不高 ．为此 ，提出了基于 MapReduce 的密度层次聚类算 法 ——— DisDHC ．该算法首先进行数据分割 ，在每个子集上利用 DHC进行聚类获得稀疏化的数据 ； 在此基础上再次进行 DHC聚类 ；最终产生整体数据的密度中心点 ．在酵母数据集 、酵母细胞周期 数据集 、人血清数据集上进行实验 ，结果表明 ，DisDHC 算法在保持 DHC 聚类效果的同时 ，极大地 缩短了聚类时间 ． 关键词 ：MapReduce ；密度层次聚类 ；基因表达数据 中图分类号 ：TP３１１ 文献标识码 ：A doi ：１０ ．３９６９／j ．issn ．０２５３‐２７７８ ．２０１４ ．０７ ．００１ 引用格式 ：Tu Jinjin ，Yang Ming ，Guo Lina ．A density‐based hierarchical clustering algorithm of gene data based on MapReduce［J］ ．Journal of University of Science and Technology of China ，２０１４ ，４４（７） ：５３７‐５４３ ． 涂金金 ，杨明 ，郭丽娜 ．基于 MapReduce的基因数据密度层次聚类算法［J］ ．中国科学技术大学学报 ， ２０１４ ，４４（７） ：５３７‐５４３ ． A density‐based hierarchical clustering algorithm of gene data based on MapReduce TU Jinjin ，YANG Ming ，GUO Lina （School o f Computer Science and Technolo gy ，Nanj ing Normal University ，Nanj ing ２１００４６ ，China） Abstract ：The amount of gene expression data scale is increasing sharply with the rapid development of bio ‐ informatics technology ，which poses a serious challenge for traditional clustering algorithms ．Density‐ based hierarchical clustering （DHC） can solve the problem of the nested class of gene expression data and has good robustness ， but for handling huge amounts of data ． Therefore ， a density‐based hierarchical clustering algorithm on MapReduce（DisDHC） was proposed ．It partitioned data sets into smaller blocks ， clustered each block using DHC in parallel ，gathered the result for re