主题模型LDA简介.pptVIP

  • 81
  • 0
  • 约6.14千字
  • 约 73页
  • 2021-09-18 发布于浙江
  • 举报
主题模型LDA简介 李威 什么是主题? 主题就是一个概念、一个方面。它表现为一系列相关的词语。 比如一个文章如果涉及到“百度”这个主题,那么“中文搜索”、“李彦宏”等词语就会以较高的频率出现,而如果涉及到“IBM”这个主题,那么“笔记本”等就会出现的很频繁。 如果用数学来描述一下的话,主题就是词汇表上词语的条件概率分布 。与主题关系越密切的词语,它的条件概率越大,反之则越小。 通俗来说,一个主题就好像一个“桶”,它装了若干出现概率较高的词语。这些词语和这个主题有很强的相关性,或者说,正是这些词语共同定义了这个主题。 case1: 如果时间回到2006年,马云和杨致远的手还会握在一起吗? 阿里巴巴集团和雅虎就股权回购一事签署了最终协议。 case2: 富士苹果真好,赶快买!!! 苹果7真好,赶快买!!! 为什么要引入主题模型? 文档之间是否相关往往不只决定于字面上的词语重复,还取决于文字背后的语义关联。对语义关联的挖掘,可以让我们的搜索更加智能化。主题模型是对文字隐含主题进行建模的方法。它克服了传统信息检索中文档相似度计算方法的缺点,并且能够在海量互联网数据中自动寻找出文字间的语义主题。 在传统信息检索领域里,实际上已经有了很多衡量文档相似性的方法,比如经典的VSM模型。然而这些方法往往基于一个基本假设:文档之间重复的词语越多越可能相似。这一点在实际中并不尽

您可能关注的文档

文档评论(0)

1亿VIP精品文档

相关文档