云计算与大数据技术理论及应用-林伟伟、彭绍亮-第12章 基于SPARK的海量宏基因组聚类问题分析计算.pptVIP

清华大学出版社《云计算与大数据技术理论及应用》配套课件林伟伟彭绍亮编著第12章基于SPARK的海量宏基因组聚类问题分析计算

提纲相关背景介绍与基本需求问题分析与设计方案CAP定理实现方法环境建立和实验数据说明结果展示

宏基因组聚类问题图中的小朋友就象征着研究者，面对一大堆杂乱无章的积木(指代基因或序列)，他们的目标就是将同一颜色的积木找到并放在一起，而基因聚类目标是将来自于同一生物体或物种的基因或序列聚成一类。

宏基因组聚类研究现状输入数据的情况:每一行表示一个基因，每一列表示一个样本，表中每一项表示基因在样本中的丰度值。

宏基因组聚类研究现状原有方法:MGS聚类方法/HeyHo/mgs-canopy-algorithm/wiki/Homedoi:10.1038/nbt.2939

宏基因组聚类研究现状原有解决方案的问题:横坐标表示聚类迭代次数，纵坐标表示问题规模，随着聚类的进行，问题规模减小越来越慢。

宏基因组聚类方法宏基因组聚类方法的核心思想在于假设不存在任何已知的参考基因组，仅仅根据测序所得序列自身蕴含的信息，运用机器学习或统计的方法，将相似的测序序列聚成一类，使得最终得到的分类结果中每一类的种内距离最小，而种间距离最大。

局部敏感哈希局部敏感哈希（Locality-sensitivehashing,LSH）是用于海量高维数据的近似最近邻快速查找技术。

局部