大数据技术在生物信息学中应用综述.docVIP

大数据技术在生物信息学中应用综述 　　摘要：生物信息学的发展需要新技术的支持。大数据技术具有支持生物信息学的特征，并在生物信息领域取得了一定的成果。介绍了大数据技术在生物信息学中的应用基础，分析了数据采集、预处理、数据存储和管理、数据分析与挖掘技术，讨论了大数据技术应用于生物信息学中的瓶颈与挑战，以及应用出现的隐私泄露等问题，展望了大数据技术在生物信息学中的应用前景。 　　关键词关键词：大数据；生物信息学；数据挖掘 　　中图分类号：TP319 文献标识码：A 文章编号：1672-7800（2016）004-0147-02 　　0引言 　　生物信息学是一门综合计算机科学、信息技术、数学理论、统计方法等研究生物信息的交叉学科，包括生物学数据的分析、研究、存档、显示、模拟等。伴随着测序技术的发展，生物数据呈指数级增长，传统的分析方法已无法满足海量数据分析的要求。人类基因组含有约30亿个DNA碱基对，如果考虑人与环境的关系，分析的碱基数目将猛增。因此，将大数据时代的云计算、数据挖掘等技术应用到生物信息学领域迫在眉睫。 　　1应用基础 　　生物信息技术主要以基因组学、蛋白组学为基础，通过获得基因组信息以及相关数据，系统利用，以解决生物、医学和工业领域的重大问题[1]。其中基因组学、蛋白组学的研究数据量很大，并一直在增长。如何充分利用这些数据，破译出基因密码，挖掘出更多促进学科发展的相关信息，是生物信息工迫切希望解决的问题。 　　互联网的发展使得全球被创建和复制的数据总量不断攀升，例如Google公司通过大规模集群和Map-Reduce软件，每月处理的数据量超过400PB；百度每天大约要处理几十PB数据[2]。大数据时代催生出各种新技术，数据挖掘、云计算等在互联网有了广泛的应用，取得了较好的效果，主要表现为处理速度更快，知识发现能力更强。 　　大数据技术主要指从各种类型的数据中快速获得有价值信息的技术，其处理技术包括：大数据采集、大数据预处理、大数据存储及管理、大数据分析及挖掘、大数据展现和应用等。 　　生物信息与网络有类似的体系结构，例如研究对象由碱基A、T、G、C序列组成，与计算机的元数据0、1序列数据相类似；基因组学的网络环境与计算机网络的层次结构十分类似。从理论上讲这两者有一定的同构基础。海量数据的出现催生出新的科研模式，即面对海量数据，科研人员只需从数据中直接查找或挖掘所需要的信息，无需直接接触需研究的对象，这给生物信息的研究带来了新的思路。 　　物联网通过传感器采集数据，互联网通过网络爬虫等采集数据。生物信息学一般由基因测序得到。例如美国国家生物信息中心NCBI维护了GenBank的核苷酸序列数据库，该数据库数据每10个月翻一番，2009年该数据库中就存储了超过15万的有机生物体的2500多亿条核苷酸碱基[3]。各大型研究机构也建立了自己的数据仓库。这在一定程度上解决了大数据存储及管理问题，但这种公共数据库很难适用于对应的数据挖掘等技术。 　　数据预处理指数据清洗和冗余消除，数据清洗指在数据集中发现不准确、不完整或不合理数据，对这些数据进行修补或移除以提高数据质量的过程。冗余消除指数据的重复或过剩，这是许多数据集的常见问题。但在生物信息学领域一般没有冗余问题，许多看似无用的数据，往往会挖掘出新的知识，这也是生物信息数据挖掘不同于现有数据挖掘的特征之一。生物信息方面的数据清洗主要有基因测序过程中的碱基取代、插入或缺失错误，主要对高通量测序数据进行纠错。 　　数据分析及挖掘对象有结构化数据、文本、Web数据、多媒体数据、社交网络数据等；挖掘方法主要是通过机器学习完成分类、聚类等。通过挖掘数据之间的关联关系，发现以前未发现的知识。目前数据挖掘技术已被应用于基因芯片分析、DNA序列比对、生物文献挖掘以及生物数据的可视化等[4]。针对生物信息挖掘，挖掘对象的数据结构与基因序列结构不同，很难直接使用目前的挖掘技术。例如，序列调控区与表达谱之间的关系一直是生物信息学领域要解决的问题，但这类问题无法直接用现有的数据挖掘技术实现。 　　大数据技术在生物信息基础领域有了一定的发展并取得了较好的成果，例如Matsunaga[5]等基于Map-Reduce框架实现了分布式BLAST计算；CloudRSD[6]基于RSD（reciprocalsmallestdistance）算法大规模寻找基因组之间的同源序列。国内“天河一号”千万亿次超级计算机部署核心计算加速，使得原先需12小时完成的计算只需1分钟就可完成，可在数小时内完成微生物宏基因组的快速分析鉴定等。各种大数据技术的应用，给生物信息技术带来了新的机遇。 　　2发展瓶颈与应用挑战 　　目前推动大数据研究的动力主要是企业经济效益，巨大的经济利益驱使企业不断扩大数据处理