Python数据分析课件：文本相似度.pptxVIP

文本相似度

文本相似度在诸如信息检索、数据挖掘、机器翻译、文档复制检测等领域中，如何度量句子或短语之间的相似度显得尤为重要。

文本相似度文本相似度的衡量计算主要包括如下三种方法：关键字匹配基于关键字匹配的传统方法，比如N-gram相似度。映射向量将文本映射到向量空间，再利用余弦相似度等方法进行计算。深度学习比如卷积神经网络的ConvNet、用户点击数据的深度学习语义匹配模型DSSM等。

文本相似度随着深度学习的发展，文本相似度的方法已经逐渐不再是基于关键词匹配的传统方法，而是转向了深度学习，目前结合向量的深度学习使用较多。

文本相似度文本映射到向量，再利用余弦相似度计算的一般实现步骤如下：第1步关键词提取通过特征提取的模型或手动实现，找出这两篇文章的关键词。第2步词频统计从每篇文章中各取出若干个关键词，再把这些关键词合并成一个集合，然后计算每篇文章中各个词对于这个集合中的关键词的词频。生成两篇文章中各自的词频向量。第3步生成词频向量计算两个向量的余弦相似度，值越大则表示越相似。第4步余弦相似度计算

文本相似度首先，给定两个句子。text1=Tomlikestowatchmoviestext2=Tomalsolikestowatchfootballgames要想找出两个句子的关键词，需要先统计每个单词出现的次数。NLTK提供了一个freqDist类，主要负责记录每个词出现的次数。

文本相似度importnltkfromnltkimportFreqDisttext1=Tomlikestowatchmoviestext2=Tomalsolikestowatchfootballgamesall_text=text1++text2words=nltk.word_tokenize(all_text)#分词#创建FreqDist对象，记录每个单词出现的频率freq_dist=FreqDist(words)freq_distFreqDist({Tom:2,likes:2,to:2,watch:2,movies:1,also:1,football:1,games:1})

文本相似度通过对分词列表中的元素进行遍历，逐一统计对应词语的频率，最终返回一个向量列表。下面通过余弦相似度函数cosine_distance()得到相似度值，该函数只需要传入两个向量值就行，具体代码如下。In[1]:fromnltk.cluster.utilimportcosine_distancecosine_distance(vector1,vector2)Out[2]:0.***008414