协同过滤下混合大数据无损挖掘算法研究.pdfVIP

第41卷第4期算机仿真2024年4月

文章编号：1006-9348（2024)04-0485-04

协同过滤下混合大数据无损挖掘算法研究

卢思安，刘江平

（内蒙古农业大学计算机与信息工程学院，内蒙古呼和浩特010018）

摘要：大数据具有大规模性、多样性以及价值性，由于海量数据间的较高相似度，导致数据挖掘过程易受穴余干扰，出现数据

丢失、损坏等问题。为解决上述问题，提出基于协同过滤算法的混合大数据无损挖掘方法。对混合大数据集成预处理，去除

余，将不同来源的相同数据无损融合。采用协同过滤算法的时间衰减函数，计算挖掘项目间相似性。在混合大数据特征

关联度的约束下，实现混合大数据无损挖掘。实验结果表明，所提方法应用下，混合大数据量高达25000MB时，数据挖掘所

需时间仅为45ms左右，且挖掘精度高达95%以上，数据挖掘结果与目标具有一致性。

关键词：协同过滤算法；混合大数据；无损挖掘；数据清理；数据集成