Spark在人类基因领域的应用.PDFVIP

Vo 1. 43 No. 6A 第 43 卷第6A 期 计算机科学 2016 年 6 月 Computer Science June 2016 Spark 在人类基因领域的应用 丁东亮吴东月于福利 (天津理工大学自动化学院 天津 300384) 摘 要 人类基因纽作为一种具有高价值的、弥足珍贵的大数据信息，亟待人们进行高效、准确的分析处理。由于传 统 Hadoop 云框架的数据处理存在高延迟的致命缺点，Spark 云平台应运而生。基于 Spark 云平台的人体基因纽数据 系统将为疾病的早期发现或治疗以及降低婴儿的出生缺陷等做出巨大贡献。 关键词人类基因，大数据，Spark 中圄法分类号 TP301 文献标识码 A Application of Spark in Human Genome DING Dong-liang WU Dong-yue YU Fu-li CSchool of Electrical Engineering ,Tianjin University of Technology ,Tianjin 300384 ,China) Abstract The hl旧lan genome as a kind of the high-value and the precious big data is badly in need for efficient and ac curate analysis. In view of the high-latency fatal weakness of the traditional cloud framework Hadoop , the cloud plat form Spark emerges in response to the needs of times. The human genome data system based on Spark will make great contributions to the early detection or treatment of the disease and birth defects. Keywords Human genome ,Big data ,Spark 设备进行的基因组测序工程每天都能产生百万兆的新数据， 引言 平均一个星期就能发现一个新的致病基因。因此人类基因组 1. 1 人类基因组也是一种大数据 是一种快速产生并更新的数据，这是大数据的第兰个特点[2J 。 综上所述，人类基因组也是一种大数据，并且对人类而言 一提到大数据的概念，人们首先想到的就是互联网上琳 是具有高价值的、弥足珍贵的大数据信息，因为一个人的健康 琅满目的数据，往往忽视了与人类关系最密切的基因组数据。 情况全体现在这个大数据里面。 1953 年，沃森和克里克提出了 DNA双螺旋结构，之后人类便 面对人类基因组如此庞大的、非结构化的、快速更新的数 致力于挖掘 DNA 的全部信息，探求生命的全部秘密。 1990