基于向量空间模型的中文文本相似度的研究-电子设计工程.PDFVIP

第 卷 第 期 电子设计工程 年 月 基于向量空间模型的中文文本相似度的研究 薛苏琴 牛永洁 延安大学 数学与计算机学院陕西 延安 摘要 在文本聚类中需要衡量中文文本之间的相似性 本文首先讨论了文本相似度的概念和常用计算算法详细介 绍了向量空间模型和算法步骤采用删除去除词表近义词合并修改文件长度 中策略对算法进行了改进 最后借 助盘古分词组件和搜狗实验室的互联网词库在 环境下使用 语言对算法进行了实现 使用在 上得到的 个不同领域的 篇学术论文的中文摘要对算法进行了测试 结果表明新算法在误差率方面有较 大改善但运行时间较长 关键词 文本相似度 向量空间模型 分词 信息处理 中图分类号 文献标识码 文章编号 随着互联网的迅速普及和发展人们从万维网上获取信 是一个非常重要和非常基础而且关键的一个技术问题 息的途径和速度得到极大的拓展和提高 在获得信息的同 文本相似度的概念和方法 时对信息处理也提出了相应的需求 目前在信息的表示 中声音图形图像文本等类型众多但是文本仍然是这些 文本相似度是一个非常复杂的概念在众多的学科中被 类型中最主要的表示载体之一在信息处理领域中对于文 广泛地讨论 世界各国的语言归属于不同的语法体系这些 本聚类分类查重等领域往往需要计算两个文本之间的相 体系之间既有相同的地方也有很多很大的差异性如果使 似度 而且相似度计算往往是其他处理步骤的前提和基础 用一种文本相似度计算方法来处理 显然不符合实际的需 相似度的计算往往决定着后续处理过程的准确性和有效性 求而且结果也往往会差距很大 相对于其他的语言体系中 文本相似度是衡量多个文本之间在表述内容方相似程 文有自己的独特的语言特点经过长时间的语言演化中文 度的一个具体数值这个数值越大表明互相比较的两个文本 语言的灵活性及语法的宽松性都比较大因此使用精确计 之间在内容方面交集越大否则就表示相比较的文本之间在 算比较强的计