ISOMAP在中文文本聚类分析中应用.pdfVIP

Microcomputer Applications Vol. 25, No.8, 2009 开发应用 微型电脑应用 2009 年第 25 卷第 8 期 文章编号：1007-757X(2009)8-0025-02 ISOMAP 在中文文本聚类分析中的应用 王胜利 王科欣 摘 要：文本聚类中，文本特征向量的高维性使得对样本统计特征的评估十分困难，所以有必要进行有效的维数约简。 ISOMAP是一类新近出现的非线性维数约简方法，可以有效地对文本特征空间进行降维处理，该方法改进了样本向量之间的 距离度量，用测地距离代替传统的欧式距离，将高维的文本特征数据映射到2 ～3维的低维可视化空间上,达到数据降维目的, 实现文本数据特征可视化，并在一定程度上解决聚类数问题。最后通过实例，验证了方法的可行性。 关键词：文本聚类；等容特征映射；降维；数据可视化 中图法分类号：TP393 文献标志码：A [5] Vector Space Model) 0 引言 文本聚类中，向量空间模型 （ 是 一种常用的文本表示方法。在 VSM 中，文档集被看作是由 Intemet 近年来在我国的飞速发展导致信息量出现了爆 一组正交特征词(t ,t ,...,t ) 所张成的向量空间，每个文本可 1 2 n 炸性增长，而这些海量信息大部分都存储在文本数据库中， 以看成是空间中的一个点向量：V( d) ( a , a ,..., a ) ，其中 1 2 n 人们很难迅速、有效地从中得到自己真正所需，所以文本挖 ai 为特征词ti 的权值，表示该特征词在文本中的重要程度， 掘变得越来越重要，而文本聚类是当前文本信息挖掘的基础 如果有m 个文本，则可以构成一个二维的m ×n 阶的矩阵W ， 其中第 行代表第 个文本，第 j 列代表第j 个特征词，A 和研究重点，为对文本数据进行有效的聚类处理，人们研究 i i ij [1] 则代表第j 个词条在第 个文本中所具有的权值。最简单的 并提出了许多有效的聚类方法，K 均值算法 是文本聚类中 i 被广泛采用的经典方法之一，该算法较简单、聚类速度快， 权值计算方法是计算词频权重，在词频权重中，某个词在文 而且适用于文本、图像特征等多种数据的聚类分析，成为数 档中出现次数越多，它代表的特征项就越重要。此外，由于 理统计、模式识别、机器学习和数据挖掘等领域应用最普遍 各个词条的量纲不尽相同或数值范围相差较大，还需要对数 的聚类算法之一，但由于 K 均值算法必须事先确定聚类的 据进行标准化。 类数，同时，初始中心选择的随机性，使得其运行结果不稳