不同类型数据间的聚类算法通信与信息系统专业论文.docxVIP

摘要随着信息时代的发展，人们所能获取的数据正成指数形式的爆炸式增长。这 摘要 随着信息时代的发展，人们所能获取的数据正成指数形式的爆炸式增长。这 些数据往往都具有不同的数据类型，如何在这些不同类型的数据之间建立联系并 聚类，便是本文研究的课题。我们提出通过两个步骤来完成不同类型数据间的聚 类：第一个步骤是对数据的预处理。我们重点介绍了对网页数据的预处理，并提 出了基于块模板的网页去杂算法，和基于Bloom Filter的网页去重算法。在网页 去杂算法中，我们以较小的颗粒度来提取模板，使得网页去杂算法的精确度更高； 同时我们利用Bloom Filter结构大大降低了网页去重算法的时问复杂度和空间复 杂度。第二个步骤是对数据的聚类。我们提出，对不同类型的数据采用不同的聚 类算法(使用K．means算法对网页数据聚类，使用关联性分析对表格数据聚类)， 以便充分利用不同类型数据的特点，最后整合这些聚类的结果，从中找出不同类 型数据之间的联系，进而完成整个聚类过程。在我们的实验中，我们尝试利用以 上算法为信用卡用户提供广告信息，实验结果表明我们的算法可以很好的完成网 页数据的预处理工作，并建立起表格数据和网页数据之间的联系，为用户提供更 好的个性化广告服务。 关键词：聚类，网页去杂，网页块模板，网页去重，Bloom Filter，K．means，关 联性分析 中图分类号：TP311．13 V AbstractWith Abstract With the fast development of Information Technology,we cail get lots of data· These data always have different types．The subject of this paper is to establish cluster relationships between these data，and cluster them．We propose two steps to data of different types．The first step is data preprocessing，and we highlight On based on preprocessing of web data．We also propose a web page cleaning algorithm block template，and a duplicate web page elimination algorithm based on Bloom Filter． 0ur web page cleaning algorithm extracts templates with smaller granularity,and results in a higher precision．On the other hand，the use of Bloom Filter greatly reduees time complexity and space complexity of web page elimination algorithm- The second step is clustering．We propose to use different clustering algorithm to cluster different types of data(K—means algorithm for web data，and Associatlon ot Analysis for form based data)．In this way,we can take full advantage charact丽stics of different types of data．After clustering these data respectively,we inte譬墨ate the results of clustering，and figure out the relationships between these data· In our experiments，we use these algorithms to provide advertisements for credit card customers．The results of our experiments shows that our algorithms can accompllsn data the web page data preprocessing work，establish relationships betwe