高校大数据挑战赛优秀论文B230276.pdfVIP

所在组别参赛编号

2023年第三届中国高校大数据挑战赛

本科组bdc230276

DNA存储中的序列聚类与比对

摘要

DNA存储技术以高密度和稳定性的DNA分子为基础，超越传统介质，存储容量大，

长期稳定，通过转换和合成实现信息存储与读取，为应对巨大数据需求提供创新解决方

案，本文通过一系列数学模型完成了基因序列聚类分析与序列对比。

针对问题一，本文首先对原始数据进行预处理，包括分离行号和序列以及清理序列

数据。随后，计算拷贝数并定义了可能出现的DNA序列的插入、删除、替换和断链错

误。在这一基础上，本文采用贪心算法和BLAST算法，以确定这四类错误发生的概率，

并通过可视化的方式展示了结果。进一步进行了错误类型的分析，结果显示插入错误和

删除错误的发生概率约为0.5%-1%，替换错误的发生概率超过1%，而断链错误的概率

在0.1%-0.3%之间。

针对问题2，本文首先从序列信息中提取了多个特征，包括碱基频率、碱基对频率

和k-mer频率等。随后，采用了基于粒子群算法改进的K-Means聚类方法对数据进行

了聚类，同时以Jaccard相似度系数大于0.75作为验证聚类结果的指标。在评估模型

时，本文综合考虑了准确率和聚类速度两个指标，通过归一化处理和方差倒数法确定了

权重，以平衡这两个指标的重要性。通过模型的迭代优化，本文在迭代50次时取得了

最佳表现，综合得分最高，准确率达到97.2%。值得一提的是，本文的模型在处理数据

集时表现出了出色的效率，仅需3.05分钟完成聚类。

针对问题三，本文在问题二模型的基础上重新定义K值，采用了肘部法则和轮廓系

数相结合的方法确定最佳的K值。通过肘部法则观察SSE下降趋缓的位置，初步确定

K值范围为1950-2000。然后利用轮廓系数进一步缩小选择范围，最终确定K值为1975，

对应的轮廓系数高达0.93。在模型求解中，以K1975作为聚类簇数，整个聚类过程耗

时47分钟。通过对各聚类中对应序列的拷贝数分布图进行分析，经过平滑曲线处理后

得知各个聚类中心对应的基因序列数量没有明显的差异。

针对问题四，本文利用隐马尔科夫模型对“test_reads.txt”中的基因序列进行了建模

和分析。通过问题三中对每个类别的划分，为每类基因序列定义了隐藏状态，并计算了

在各类别中基因序列状态转移的概率。随后，利用Baum-Welch算法学习模型参数，包

括状态转移概率和观察概率，通过迭代估计获得了最终参数。接下来，应用Viterbi算

法进行序列解码，得到了所有聚类中心的目标序列。在正文中呈现了前十条目标序列的

聚类结果，并对插入、删除、替换和断链错误率进行了分析。以此同时，对问题一和问

题四中的四种错误发生概率进行了对比分析。结果显示，在两个数据集中，插入错误的

概率接近，均为0.007。然而，在`train_reads.txt`数据集中，删除错误和断链错误的概率

相对较高，而在`test_reads.txt`中，替换错误的概率较大。

本文所构建的基因序列聚类模型不仅在实际应用中展现了较好的性能，而且从数学

角度上得到了充分的合理性分析，为基因序列聚类问题提供了深刻的理论支持。

关键词：基因序列BLAST算法K-Means聚类Jaccard相似度系数隐马尔科夫模型

1

一、问题重述

1.1问题背景

随着新互联网设备的普及和数据需求的增长，传统存储介质如硬盘、光盘等已经无

法满足海量数据的存储需求。而DNA存储技术通过利用DNA分子的高存储密度和稳

[1]

定性，提供了一种全新的解决方案。DNA分子具有极高的存储密度，每克DNA可以

存储约215PB的数据量，远远超过传统存储介质。同时，DNA分子在适当的条件下可

以长期保