基于AP聚类的不完整大数据填充-大数据与智能系统试验室.PDF

Computer Engineering and Applications 计算机工程与应用 2015 ，51（10） 123 ⦾数据库、数据挖掘、机器学习⦾ 基于AP 聚类的不完整大数据填充 1，2 2 1 冷泳林 ，张清辰 ，鲁富宇 1，2 2 1 LENG Yonglin , ZHANG Qingchen , LU Fuyu 1.渤海大学 信息科学与技术学院，辽宁 锦州 121000 2.大连理工大学 软件学院，辽宁 大连 116620 1.College of Information Science and Technology, Bohai University, Jinzhou, Liaoning 121000, China 2.School of Software Technology, Dalian University of Technology, Dalian, Liaoning 116620, China LENG Yonglin, ZHANG Qingchen, LU Fuyu. Incomplete big data imputation algorithm based on AP clustering. Computer Engineering and Applications, 2015, 51 （10）：123-127. Abstract ：Imputing missing values is a hot research topic in big data processing. Incomplete big data could not be clustered directly, which must be preprocessed, such as inputing missing values. Traditional algorithms, which fill missing values depending on the statistical theory of the data set, are corrupted by noise data, which decreases the imputation accuracy. The paper proposes a novel algorithm to fill missing values based on AP clustering, which clusters incomplete big data directly by proposing a new similarity metrics. The data in the same cluster is utilized to fill missing values which aims at avoiding noise corruption to improve the filling accuracy. Experiment demonstrates the proposed algorithm can cluster the incomplete big data directly and improve the accuracy for filling missing data effectively. Key words ：incomplete big data; clustering analysis; data imputation 摘 要：不完整数据的分析与填充一直是大数据处理的热点研究课题，传统的分析方法无法对不完整数据直接聚 类，大部分方法先填充缺失值，然后对数据聚类。这些方法一般利用整个数据集对缺失数据进行填充，使得填充值 容易受到噪声的干扰，导致填充结果不精确，进而造成聚类精度很低。提出一种不完整数据聚类算法，对不完全信 息系统的相似度公式进行重新定义，给出不完整数据对象间的相似度度量方式，进而直接对不完整数据聚类。根据 聚类结果将同一类对象划分到相同的簇中，通过同一类对象的属性值对缺失值进行填充，避免噪声对填充值的干 扰，提高填充结果的精确性。实验结果表明，提出的方法能够对不完整数据进行聚类，并有效提高缺失数据的填充 精度。 关键词：不完整大数据；聚类分析；数据填充 文献标志码：A 中图分类号：TP311