- 81
- 0
- 约6.14千字
- 约 73页
- 2021-09-18 发布于浙江
- 举报
主题模型LDA简介
李威
什么是主题?
主题就是一个概念、一个方面。它表现为一系列相关的词语。
比如一个文章如果涉及到“百度”这个主题,那么“中文搜索”、“李彦宏”等词语就会以较高的频率出现,而如果涉及到“IBM”这个主题,那么“笔记本”等就会出现的很频繁。
如果用数学来描述一下的话,主题就是词汇表上词语的条件概率分布 。与主题关系越密切的词语,它的条件概率越大,反之则越小。
通俗来说,一个主题就好像一个“桶”,它装了若干出现概率较高的词语。这些词语和这个主题有很强的相关性,或者说,正是这些词语共同定义了这个主题。
case1:
如果时间回到2006年,马云和杨致远的手还会握在一起吗?
阿里巴巴集团和雅虎就股权回购一事签署了最终协议。
case2:
富士苹果真好,赶快买!!!
苹果7真好,赶快买!!!
为什么要引入主题模型?
文档之间是否相关往往不只决定于字面上的词语重复,还取决于文字背后的语义关联。对语义关联的挖掘,可以让我们的搜索更加智能化。主题模型是对文字隐含主题进行建模的方法。它克服了传统信息检索中文档相似度计算方法的缺点,并且能够在海量互联网数据中自动寻找出文字间的语义主题。
在传统信息检索领域里,实际上已经有了很多衡量文档相似性的方法,比如经典的VSM模型。然而这些方法往往基于一个基本假设:文档之间重复的词语越多越可能相似。这一点在实际中并不尽
您可能关注的文档
- 主题背景下幼儿园区域环境创设与活动指导研讨会反思.doc
- 主题餐厅设计欣赏集锦.ppt
- 主题二、和谐构建社会支持系统.doc
- 主题概念性美发沙龙品牌项目概述.ppt
- 主题活动教案:苗家风情.doc
- 主题教研活动记录表.doc
- 主题教育活动策划书.doc
- 主题五(10章 人体能量供应).ppt
- 主题五:玩玩乐.doc
- 主题一 科学探究——显微镜的使用考点分析+例题.doc
- GB/T 48464.1-2026微细气泡技术 工业和消费类设备应用 第1部分:基于气泡粒径和浓度评价微细气泡喷头性能的测试方法.pdf
- 《GB/T 48464.1-2026微细气泡技术 工业和消费类设备应用 第1部分:基于气泡粒径和浓度评价微细气泡喷头性能的测试方法》.pdf
- 中国国家标准 GB/T 48464.1-2026微细气泡技术 工业和消费类设备应用 第1部分:基于气泡粒径和浓度评价微细气泡喷头性能的测试方法.pdf
- GB/T 6109.15-2026漆包圆绕组线 第15部分:130级自粘性直焊聚氨酯漆包铜圆线.pdf
- 中国国家标准 GB/T 6109.15-2026漆包圆绕组线 第15部分:130级自粘性直焊聚氨酯漆包铜圆线.pdf
- 《GB/T 6109.15-2026漆包圆绕组线 第15部分:130级自粘性直焊聚氨酯漆包铜圆线》.pdf
- GB/T 6109.18-2026漆包圆绕组线 第18部分:180级自粘性聚酯亚胺漆包铜圆线.pdf
- 中国国家标准 GB/T 6109.18-2026漆包圆绕组线 第18部分:180级自粘性聚酯亚胺漆包铜圆线.pdf
- 六西格玛与精益生产落地实施精讲笔记.pptx
- 面向2026年制造业下沉市场的城镇化率与人均收入消费力测算与落地指引.docx
原创力文档

文档评论(0)