主题模型LDA简介.pptxVIP

主题模型LDA简介;什么是主题？;case1： 如果时间回到2006年，马云和杨致远的手还会握在一起吗? 阿里巴巴集团和雅虎就股权回购一事签署了最终协议。;为什么要引入主题模型？;隐含狄利克雷分布简称LDA(Latent Dirichlet allocation)，是一种主题模型，基于一个常识性假设：文档集合中的所有文本均共享一定数量的隐含主题。基于该假设，它将整个文档集特征化为隐含主题的集合，可以将文档集中每篇文档的主题按照概率分布的形式给出。 它能够发现文档-词语之间所蕴含的潜在语义关系（即主题）——将文档看成一组主题的混合分布，而主题又是词语的概率分布——从而将高维度的“文档-词语”向量空间映射到低维度的“文档-主题”和“主题-词语”空间，有效提高了文本信息处理的性能。;主题模型LDA（latent dirichlet allocation）的应用还是很广泛的，在检索、图像分类、文本分类、用户评论的主题词抽取，做feature、降维等。例如可以用主题维度来表示原来的字典维度，大大的降低了文本表示的维度。通过一些聚类等的思想，将一些细粒度的特征组合到一个新的空间上去，例如主题空间。;算法 的输入是一个文档的集合D={d1, d2, d3, ... , dn}，同时还需要聚类的类别数量m；然后算法会算出将每一篇文档 di 在 所有Topic上的一个概率值p；这样