毕业论文(初中稿).docVIP

摘要 在中文信息处理中，文本相似度的计算广泛应用于信息检索，机器翻译，自动问答系统，文本挖掘，论文抄袭识别，其中的中文分词环节在搜索引擎，自然语言的处理中起着至关重要的作用，长期以来一直是人们研究的热点和难点。对于中文文本相似度计算，分词是基础和前提，采用高效的分词算法能够极大地提高文本相似度计算结果的准确性；分词中最关键的问题是消歧与未登陆词的识别，本文采用词性转换概率表来进行分词的消歧处理，使用有向拓补图的最短路径来进行分词的处理，得到了比较好的效果。在计算相似度的过程中使用了 词频与词序相结合的方法，使用TF-IDF特征法和二部图的最大匹配来计算词频的相似度，但这种方法在颠倒句子中词的顺序时也会得到相同的相似度，必须使用一种能区分词序的算法，马尔科夫模型的状态转移矩阵表示一个词转移到另一词的概率(本文把单个词语作为马尔科夫模型中的一个状态来看待)，后在文本相似度计算中，使用一种将最长公共子序列、马尔科夫状态转移矩阵和TF．IDF相结合的算法得到结果。 本文使