k-means聚类的多种距离计算方法的文本实验比较 experimental comparison of k-means text clustering by varied distance calculation methods.pdfVIP

第１４卷 第１ 期 福建工程学院学报 Ｖｏｌ．１４ Ｎｏ．１ ２０１６年２月 Ｊｏｕｒｎａｌ ｏｆＦｕｊｉａｎ Ｕｎｉｖｅｒｓｉｔｙ ｏｆＴｅｃｈｎｏｌｏｇｙ Ｆｅｂ．２０１６ ｄｏｉ：１０．３９６９／ｊ．ｉｓｓｎ．１６７２－４３４８．２０１６．０１．０１８ Ｋ-Ｍｅａｎｓ聚类的多种距离计算方法的文本实验比较 林滨 （福州软件职业技术学院计算机系，福建 福州３５０００３） 摘要：针对文本类型数据的分类进行研究，用ＶＳＭ模型和ＴＦ-ＩＤＦ技术对文本文件进行了数据样本抽 取加权，得到文本相似度矩阵；采用不同样本距离计算方法和 Ｋ-Ｍｅａｎｓ算法对数据进行了聚类实验， 获得聚类结果并进行了分析和总结；基于实验结论，研究了不同距离计算方法之间的区别以及适用的 数据类型。 关键词：文本聚类；ＴＦ-ＩＤＦ；Ｋ-Ｍｅａｎｓ；距离计算 中图分类号：ＴＰ３１１．１３ 文献标志码：Ａ　　　　　文章编号：１６７２－４３４８（２０１６）０１ －００８０－０６ Ｅｘｐｅｒｉｍｅｎｔａｌ ｃｏｍｐａｒｉｓｏｎ ｏｆＫ-Ｍｅａｎｓ ｔｅｘｔ ｃｌｕｓｔｅｒｉｎｇ ｂｙ ｖａｒｉｅｄ ｄｉｓｔａｎｃｅ ｃａｌｃｕｌａｔｉｏｎ ｍｅｔｈｏｄｓ Ｌｉｎ Ｂｉｎ （Ｆｕｚｈｏｕ Ｓｏｆｔｗａｒｅ Ｔｅｃｈｎｏｌｏｇｙ Ｖｏｃａｔｉｏｎａｌ Ｃｏｌｌｅｇｅ，Ｆｕｚｈｏｕ ３５０００３，Ｃｈｉｎａ） Ａｂｓｔｒａｃｔ：Ｔｅｘｔ ｄａｔａ ｓａｍｐｌｅｓｗｅｒｅ ｅｘｔｒａｃｔｅｄ ａｎｄ ｗｅｉｇｈｔｅｄ ａｎｄ ｔｈｅ ｔｅｘｔ ｓｉｍｉｌａｒｉｔｙ ｍａｔｒｉｃｅｓ ｗｅｒｅ ｏｂ- ｔａｉｎｅｄ ｂｙ ｖｅｃｔｏｒｓｐａｃｅ ｍｏｄｅｌ （ＶＳＭ）ｍｏｄｅｌ ａｎｄＴＦ－ＩＤＦｗｅｉｇｈｔｉｎｇｔｅｃｈｎｏｌｏｇｙ．Ｔｈｅ ｄａｔａｃｌｕｓｔｅｒｉｎｇ ｗａｓ ｃｏｎｄｕｃｔｅｄ ｖｉａ ｄｉｆｆｅｒｅｎｔ ｄｉｓｔａｎｃｅ ｃａｌｃｕｌａｔｉｏｎ ｍｅｔｈｏｄｓ ａｎｄ Ｋ-Ｍｅａｎｓ ａｌｇｏｒｉｔｈｍ．Ｔｈｅ ｃｌｕｓｔｅｒｉｎｇ ｒｅ- ｓｕｌｔｓ ｗｅｒｅ ａｎａｌｙｓｅｄ．Ｔｈｅ ｄｉｆｆｅｒｅｎｃｅｓａｍｏｎｇｔｈｅ ｄｉｓｔａｎｃｅ ｃａｌｃｕｌａｔｉｏｎ ｍｅｔｈｏｄｓａｎｄ ｔｈｅ ａｐｐｌｉｃａｂｌｅ ｄａｔａ ｔｙｐｅｓｗｅｒｅ ｓｔｕｄｉｅｄ． Ｋｅｙｗｏｒｄｓ：ｔｅｘｔ ｃｌｕｓｔｅｒｉｎｇ；ＴＦ－ＩＤＦ；Ｋ-Ｍｅａｎｓ；ｄｉｓｔａｎｃｅ ｃａｌｃｕｌａｔｉｏｎ 　　聚类是无监督机器学习算法的一个重要组成 无监督（ｕｎｓｕｐｅｒｖｉｓｅｄ）机器学习问题。搜索引擎 部分。聚类（ｃｌｕｓｔｅｒｉｎｇ）是将物理或抽象对象的集 返回的的结果进行信息分类，电子商务网站的用 ［１］ 合分成由类似的对象组成的多个类的过程 ，使 户偏好商品推荐，社交网络的用户分类采用的也 得每一个类内的数据尽可能相似而不同组内的数 是文本聚类方法。此外，文本聚类方法在文档自 据尽可能不同。对样本数据集进行分类计算后形 动归类整理，图书馆资料分类等方面也起着重要 成多个簇（ｃｌｕｓｔｅｒ），同属于一个簇中的数据具有 的作用。 比较高的相似度，而属于不同簇的对象之间差异 文中先从整体上对数据样本的处理流程进行 度相对较高，簇的分类通常是根据数据样本间的 介绍；接着对文本数据的预处理进行介绍；然后对 距离来进行区分。 样本间距计算方法和Ｋ-Ｍｅａｎｓ算法进行了研究； 文本聚类在信息检索等诸多方面有较广泛的 之后，使用