语言信息处理-文本相似度相关研究.docxVIP

1 引言 出于个人对语言信息处理相关内容的兴趣，对两段文本之间如何比较相似性也有很大的好奇，在之前的工作中也用到相关知识，于是在本次的报告中，根据自己的能力实现了一个可以比较两段文本相似程度的小算法，算法原理简单，只是从“词”的角度进行分析，没有加入语义的分析，但是如果在特定的领域也会有不错的效果。报告中会主要介绍算法的原理、自己在原理上进行的处理以及成果的展示。 2 算法思想 本文所研究的算法是基于文本相似度匹配而实现的。首先将文本处理成为相对应的向量，根据空间里向量的相近程度来反映出两个文本之间的相似度。由于文本数据具有无结构的特性，需要对其进行一定的预处理，这样才能转换成为数值计算。本文所采用的思路是首先对文本进行中文分词处理，然后对分词之后的结果进行词频统计，统计时可以同时完成对数据的降维操作。将统计结果排列成为两个向量，最后利用向量计算的相关公式进行相似度计算。 其总体流程如图1所示。 图1算法流程图 3 基于文本相似度匹配的文本匹配算法 3.1文本分词 一整段的文本由多个词语组成，我们要进行文本之间相似度匹配的检测。第一步是对文本进行中文分词，分成一些关键的词语组，其中要剔除掉语意词、助词等等对文章大意没有影响的词汇。英文分词是相对容易的，因为每两个单词之间会有空格进行区分，这就使得分词工作变成了检测文章中的空格，然后加以分割。但中文句子并没有这样的特征，一个词汇是由