基于BWT的DNA多重压缩算法的并行优化论文草稿终.doc

基于BWT的DNA多重压缩算法的并行优化 摘要 DNA是生物生存、延续及发展的重要物质基础，DNA序列数据压缩在海量基因数据的存储、管理和传输中有重要作用。在数据压缩领域，不仅有传统的压缩方法，也已经存在一些专门的针对DNA序列数据的改进的压缩算法。本文提出了一种基于BWT的DNA多重压缩算法的改进，利用OpenMP和MPI对算法并行优化，并且对该算法进行了客观的性能分析和预测。 关键字 DNA；BWT；OpenMP；MPI；并行压缩 引言 生物信息学是在生命科学的研究中，融合多个研究领域，综合运用生物学、数学、计算机科学等知识和工具,对生物信息进行储存、检索和分析的科学。它是一门迅速兴起的边缘学科，同时是当今生命科学和自然科学的重大前沿领域之一，也将是21世纪自然科学的核心领域之一。其研究重点主要是从DNA和蛋白质序列出发，分析序列中表达的结构功能的生物信息。 DNA作为生物生存、延续及发展的重要物质基础，从大量的DNA序列的原始数据中提取有效生物学信息则具有重大科学意义。然而随着测序技术的发展，每天都有海量的DNA序列数据产生，这些数据占用的存储空间也随之日益增大。怎样在有限的存储空间内有效地存储生物序列数据成为当今计算机领域和生物学领域面临的新的挑战和问题，而数据压缩技术是解决这一问题的有效方法。 在计算机科学和信息论中，数据压缩是按照特定的编码机制用比未经过编码的数据少的位元或者其它信息相关的单位表示信息的过程。在数据压缩领域，已经存在一些专门的针对DNA序列数据的压缩算法，例如：1993年Grumbach s．和Tahi F．提出的BioCompress和之后改进的BioCompress-2算法，1999年x．Chen等人提出的GenCompress算法，2000 年T Matsumoto 和K Sadakane 提出的CTW+ LZ算法，2002年x．Chen等人提出的DNACompress算法，以及2007年G Korodi和I Tabus提出的GeNML算法。 而本文所介绍的，是基于Burrows-Wheeler Transformation算法的DNA序列数据多重压缩算法的OpenMP和MPI并行优化。 基于BWT的DNA多重压缩算法 基于BWT的DNA多重压缩算法主要思想为:首先，对DNA序列数据文件进行 0 /1编码，然后按编码将DNA序列数据分组进行转换形成新的文件，这样原来仅含有4个字符的DNA序列数据扩展到 256个字符，但是新文件的长度却缩短为原文件长度的1/4,这是多重压缩过程中的首要步骤。然后，根据转换后的数据特点，采用适合的传统经典的压缩算法进一步压缩。这种算法取得了良好的压缩效果。图1为该算法流程。 图1基于BWT的DNA多重压缩算法流程 本文在此算法基础上，寻找算法中可以并行优化的部分，采用OpenMP对Burrows-Wheeler Transformation算法、MTF变换改进，并用MPI对Huffman压缩算法进行了一定的并行优化，以期提高压缩速率。 基于BWT的DNA压缩算法的OpenMP并行化 本算法共分首次压缩和二次压缩两部分。对DNA序列数据进行0/1编码，将DNA序列数据转换成普通的文本数据，这相当于首次压缩。然后用Burrows-Wheeler Transformation算法对DNA序列数据进行变换，再用MTF变换将字母表中常用符号排在前列，最后用传统压缩算法Huffman算法对DNA数据进行二次压缩【1】。 2.1 DNA序列首次压缩 考虑到DNA序列数据仅由A、C、G、T四个字母组成，因此采用两个二进制位00、01、11、10来编码A、C、G、T这四个字符，即A→00，C→01,G→11,T→10。使用这种编码机制,原长度为m 字节DNA文本串T可以压缩成「m/4」字节的T′。由于进行字符转换是以字节为单位读入编码流，因此对不足1Byte的用x进行补位，称xx为不需要关注的编码单元。再通过对压缩串中不需要关注的编码单元进行简单的补0处理，使之可以字节为单位转换成一个新的字符，且每个字符与ASCII码值一一对应。 这种编码压缩方法，可以节省约75%的存储空间。因此对DNA序列数据进行0/1编码，其过程即是对DNA序列数据的首次压缩。同时经过转换，只有四个字符的字母表扩展为具有256个字符的字母表。即将特殊的DNA序列数据转换成了普通的文本数据,方便运用传统的经典压缩算法进行二次压缩。 2.2 DNA序列二次压缩 2.2.1 1994年Michael Burrows 和David Wheeler共同提出了一种全新的通用数据压缩算法，Burrows-Wheeler Transformation【2】。 Burrows-Wheeler Transformation压缩算