基于语义相关度的中文文本聚类方法研究.docVIP

PAGE \* MERGEFORMAT10 杜坤，刘怀亮，王帮金 （西安电子科技大学 经济与管理学院，陕西 西安 710126） 基于语义相关度的中文文本聚类方法研究* *本文为国家自然科学基金项目“基于复杂网络的中文文本语义相似度研究”的研究成果，项目编号The?Research?on?Chinese?Text?Clustering?Method?Based?on?Semantic?Relevancy 摘要：[目的/意义] 基于向量空间模型的文本聚类中，文本相似度计算忽略特征项间语义关联，针对此问题，提出一种改进的语义文本相似度计算方法。 [方法/过程] 新方法利用维基百科知识库计算语义相关度，结合特征项在文本中的表示权重，构造文本相似度语义加权因子，并进行K-means文本聚类实验。[结果/结论]与传统的余弦相似度相比，改进后的语义文本相似度应用在文本聚类上，能有效提高聚类的准确度。[局限] 语义相关度的计算没有对词语进行消歧处理。 关键词：维基百科 语义相关度 文本相似度 文本聚类 Abstract: [Objective/significance] This paper proposes an improved semantic text similarity computation method to solve the problem of feature terms semantic association deficiency in text similarity computation for text clustering based on Vector Space Model. [Methods/process] Firstly, the feature terms semantic relevancy is computed with Wikipedia. Secondly, combining the weight of feature item in the text, a text similarity semantic weighting factor is constructed. Finally, K-means clustering method is used for text clustering experiment. [Results/conclusion] By comparing with the traditional cosine similarity, experimental results show that the improved semantic text similarity used in the text clustering can effectively improve the accuracy of clustering. [Limitations] Word sense disambiguation is ignored in the process of the feature terms semantic relevancy computation. Keywords: Wikipedia semantic relevancy text similarity text clustering 1 引 言 随着网络通信技术的不断发展以及计算机的普及应用，网络社会产生了海量的数据信息。作为国内互联网文档信息的主要内容形式，中文文本的信息处理能够帮助用户快速、准确获得所需信息。通过聚类可以有效地管理文本数据，而文本间相似性度量是文本聚类的重要基础。文本相似度通过计算来量化两个文本间的相似程度，相似度数值越大，说明文本相似程度越高，反之文本相似程度越低，其在信息检索[1]、文本分类[2]、舆情分析[3]等领域中有着广泛应用。 目前大部分的文本相似性度量都是基于向量空间的文本表示模型，把文本表示成对应高维空间中的向量，利用向量之间的夹角余弦计算文本间相似度。实践证明这种模型简单高效并且得到了广泛的应用，但向量空间模型没能充分考虑不同特征项之间的语义关联，余弦相似度只能对文本间相同的特征项进行计算分析，影响了文本相似度计算的准确性。尤其是在文本聚类中，即使文本的特征项之间具有极强的相关性，但若两个文本之间没有相同的特征项，则余弦相似度仍会判定这两个文本相似度为0，不会划归一类。 许多学者为解决文本相似度计算语义缺失的问题，提出了不同的改善方法。如文献[4]在计算特征权重时引入语义信息，把文本表示成语义向量空间模型，但仍使用余弦相似度度量文本相似程度；文献[5]根据知网计算词汇语义相似度，利用二部图最大权匹配算法计算