基于大数据挖掘的多维数据去重聚类算法分析.docxVIP

基于大数据挖掘的多维数据去重聚类算法分析

摘要：随着互联网时代的到来，社交媒体，电子商务以及可预见的5G技术驱动的新一轮产业和技术革命，它们所产生的超量数据给数据分析与处理提出了更高的要求.数据的剧增使得数据的可靠性，保真度降低，如何降低数据的冗余，建立多维数据去重聚类模型成为一个必然选择.[1]文中介绍了大数据挖掘下的Simhash算法，通过分析大数据之间相通性和差异性，对该算法进行优化和实验论证，确认了这种优化后算法的效率更高，为系统开发者找到一条新的开发思路.

关键词：大数据挖掘；多维数据去重；Simhash算法；降低冗余

1引言

Simhash算法是当今数据挖掘和研究的主流算