高通量DNA测序数据的多任务并行压缩算法.pdfVIP

Vol. 32 No.7 第 32 卷第 7 期 计算机应用研究 2015 年7 月 Application Research of Computers Jul. 2015 高通量 DNA 测序数据的多任务并行压缩算法* 何娜1 ，李家辉l ，王婷2 ，罗海脆l (1.广州中国科学院软件应用技术研究所并行软件研发中心，广州 511458; 2. 中国科学院软件研究所，北京 100190) 摘 要:研究采用任务并行的方法，对 FastQ 格式文件的压缩程序 DSRC( DNA sequence reads compression) 进行 了加速。这一任务并行算法将 DSRC 分为数据读入和数据压缩两个独立的任务，而后将数据压缩的统计过程进 一步细分为 title 行数据统计和其他数据统计两个独立任务。研究结合 CPU 多线程、GPU、 MIC ( many integrated core) ，针对 title 行数据设计了高并行度的统计算法，实现title 行数据的并行统计。在维持原有压缩比的情况下， 本研究得到的最大压缩通量可以达到 144 MBps ，最大加速比可达三倍。结采表明，多任务并行的方法可以有效 地加速 DSRC ，而协处理器对 DSRC 的加速效果并不明显。另外本算法在压缩 ILLUMINA 和 SOLiD 测序平台下 的 FastQ 数据时，其加速效果比压缩臼454 测序平台的数据更为明显。 关键词:多任务并行;多线程; GPU; MIC; FastQ 文件;压缩 中图分类号:T凹1 1. 56; T凹01. 6 文献标志码:A 文章编号: 1001-3695(2015)07-2014-04 doi: 10. 3969/j. issn. 1 ∞1-3695.2015.07.024 Multi- task parallel compression algorithm for high- throughput DNA sequencing data He Na J , Li Jiahui J , Wang Ting2 , Luo Haibiao J (1. In.s titute 0/ Software Application Technology , Guangzhou CAS Parallel Software Research Development Center , Guangzhou 511458 , Chi- na: 2. Ii旧titute 0/ SI!脚αre CAS , Beijing 1∞190 ， China) Abstract: This paper adopted multî-task para Ilel algorithm to accelerate the program DSRC , which was a program compressed FastQ format files. The DSRC divided into two parallel tasks: data processed task and data input task. Then , the data pro- cessed task farther divided into two parts: title data processed part and other data processed part.