《数据分析》课件——任务7.4 文本相似度.pptxVIP

任务7.4文本相似度Python数据分析

学习目标及重难点学习目标：了解文本相似度衡量方法掌握文本映射向量，结合余弦相似度的衡量方法素养目标：培养严谨、认真、踏实、勤奋的学习态度学习重点：文本映射向量，结合余弦相似度的衡量方法

目录学习内容1.文本相似度衡量方法2.文本映射向量，结合余弦相似度的衡量方法

01文本相似度衡量方法

1.文本相似度衡量方法在诸如信息检索、数据挖掘、机器翻译、文档复制检测等领域中，如何度量句子或短语之间的相似度显得尤为重要。

1.文本相似度衡量方法文本相似度的衡量计算主要包括如下三种方法：关键字匹配基于关键字匹配的传统方法，比如N-gram相似度。映射向量将文本映射到向量空间，再利用余弦相似度等方法进行计算。深度学习比如卷积神经网络的ConvNet、用户点击数据的深度学习语义匹配模型DSSM等。

02文本映射向量，结合余弦相似度

2.文本映射向量，结合余弦相似度随着深度学习的发展，文本相似度的方法已经逐渐不再是基于关键词匹配的传统方法，而是转向了深度学习，目前结合向量的深度学习使用较多。

2.文本映射向量，结合余弦相似度文本映射到向量，再利用余弦相似度计算的一般实现步骤如下：第1步第2步从每篇文章中各取出若干个关键词，再把这些关键词合并成一个集合，然后计算每篇文章中各个词对于这个集合中的关键词的词频。第3步第4步通过特征提取的模型或手动实现，找出这两篇文