Python培训PPT课件：python数据分析与自然语言处理.pptVIP

* * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * TF-IDF结合余弦相似度做相似度分析 构造词向量（包含了位置信息） 句子A：[1, 2, 2, 1, 1, 1, 0] 句子B：[1, 2, 2, 1, 1, 2, 1] 向量 NLP-自然语言处理 Python培训PPT课件：python数据分析与自然语言处理全文共47页，当前为第31页。 TF-IDF结合余弦相似度做相似度分析 计算结果： 余弦相似度计算结果区间：[-1 , 1] NLP-自然语言处理 Python培训PPT课件：python数据分析与自然语言处理全文共47页，当前为第32页。 TF-IDF结合余弦相似度做相似度分析 总结思路： （1）使用TF-IDF，找出两篇文章的关键词； 　 （2）每篇文章各取出若干个关键词（比如20个），合并成一个集合，并包含了位置信息，计算每篇文章对于这个集合中的词的词频；（也可以引入权重） 　　 （3）生成两篇文章各自的词频向量； 　　 （4）计算两个向量的余弦相似度，值越大就表示越相似。 NLP-自然语言处理 Python培训PPT课件：python数据分析与自然语言处理全文共47页，当前为第33页。 百度NLP-词语相似度 输入两个词，得到两个词的相似度结果 意义： 构建词向量时候，为了避免词向量维度过高，可以用相似 词语进行代替 NLP-自然语言处理 Python培训PPT课件：python数据分析与自然语言处理全文共47页，当前为第34页。 通过某种数学变换将原始高维属性空间转变为一个低维子空间。 最简单例子：拍照。 降维有什么作用呢？ 1. 数据在低维下更容易处理、更容易使用； 2. 相关特征，特别是重要特征更能在数据中明确的显示出来； 3. 如果只有两维或者三维的话，更便于可视化展示； 4. 去除数据噪声 5. 降低算法开销 降维 NLP-自然语言处理 Python培训PPT课件：python数据分析与自然语言处理全文共47页，当前为第35页。 百度NLP-词语相似度 维度： NLP-自然语言处理 Python培训PPT课件：python数据分析与自然语言处理全文共47页，当前为第36页。 百度NLP-短文本相似度 NLP-自然语言处理 Python培训PPT课件：python数据分析与自然语言处理全文共47页，当前为第37页。 百度NLP-情感分析 NLP-自然语言处理 Python培训PPT课件：python数据分析与自然语言处理全文共47页，当前为第38页。 百度NLP-文章分类 针对网络各类媒体文章进行快速的内容理解，根据输入含有标题的 文章，输出多个内容标签以及对应的置信度，用于给用户文章推荐 、文章分类等场景。 iphone手机出现“白苹果”原因及解决办法，用苹果手机的可以 看下 NLP-自然语言处理 Python培训PPT课件：python数据分析与自然语言处理全文共47页，当前为第39页。 NLP-自然语言处理 Synonyms词语近义词 Python培训PPT课件：python数据分析与自然语言处理全文共47页，当前为第40页。 NLP-自然语言处理 Synonyms短句相似度 Python培训PPT课件：python数据分析与自然语言处理全文共47页，当前为第41页。 NLP-自然语言处理 NLP研究困难总结 歧义 (ambiguity) 病构 (ill-formedness) 复述 (paraphrasing) Python培训PPT课件：python数据分析与自然语言处理全文共47页，当前为第42页。 NLP-自然语言处理 NLP研究困难总结 [咬死猎人] 的狗 咬死 [猎人的狗] 歧义 Python培训PPT课件：python数据分析与自然语言处理全文共47页，当前为第43页。 NLP-自然语言处理 NLP研究困难总结 病构 真实文本的语言现象非常复杂，不规范 例子：他非常男人。（名词不能受程度副词修饰） Python培训PPT课件：python数据分析与自然语言处理全文共47页，当前为第44页。 NLP-自然语言处理 NLP研究困难总结 复述 在与原句表达相同的语义内容，同一种语言下的原句的替代形式 – 毛泽东出生于1893年 – 毛泽东出生在1893年 – 毛泽东诞生于1893年 – 毛泽东同志是1893年出生的 – 毛主席生于1893年 – 毛泽东生于光绪6年（虚拟的） Python培训PPT课件：python数据分析与自然语言处理全文共47页，当前为第45页。 NLP-自然语言处理 NLP方法论之争