【pdf】大数据场景下主题检索应用 - 中国大数据.pdfVIP

搜狗精准广告研发部 王晓博  Topic Model在企业的实际场景中如果遇到亿级数 据该如何处理？如何利用有限的计算集群资源处理 超大的文集，我们将围绕这一难题向大家介绍LDA 主题模型训练系统以及它在线上预测时需要面对的 问题和解决办法。  PLSI：潜在语义检索  LDA：Latent Dirichlet Allocation  MPI：基于消息通讯的分布式计算平台  Perplexity：混杂度，常用于度量主题模型训练的 效果  双工通信：同时收取和发送数据  主题检索模型理论基础  大数据场景下的挑战  构建一个高效的训练系统  模型在商业广告检索中的应用 LDA的提出 LDA与PLSA同属topic model，其目标 是相同的。 问题提出：如何在语义层面对文本集 （离散数据集）进行建模。 向量空间模型是一个开创性的概念： 优点：文档可以被表示成一个实数向量； 不同长度的文档都能够被表示成定长的数列； 引入与向量相关的计算方法。 问题：文档被映射在词空间，向量维度太高； 理解能力弱，对语义分析的支持不强。 潜在语义索引： 首先被充当一种降维技术，对doc-word矩阵进行SVD， 提取最能反映向量间差异的线性子空间。 进而被证明能够抓取到基本的语义信息，例如同义、 一词多义。 缺陷：所谓的“抓取语义信息”不够直接，降维的意 义更明显；时间和空间复杂度太大。 引入了潜在主题的概念 极大程度的降维，并能 够发掘有价值的语义信 息。 How？ 理论缺陷：没有对应于P(z|d)的生成概率模型，理论 上不完整。 （LDA补足了这个缺陷） 先验 P(z|d) P(w|z) Dirichlet 参数 模型的优势 • 参数少，overfitting风险小，共有k x |V| + k个参 数 • p(z|d)定义为产生式模型 • 训练集合开放，对于新文档和新词处理能力强 • topic model研究的热点，在bayes graphical model的框架下优化潜力大 生成文档d 的过程中，包含三个问题： i 1. d 的表层信息：d 的规模，即d 中包含多少词实例？ i i i 2. d 的语义信息：d 所反映的内容，即d 的主题分布？ i i i 3. d 中每个具体的word都是什么？ i 指定组成文档d 的词的个数N，N服从泊松分 i 布，即N~Poisson(ξ)。 根据Dirichlet先验α，为d 选择一个主题分布θ ，即 i i θ ~Dirichlet(α)。 i di topic s P(z|d) 对于N个待定词中的每一个词w ，通过以下步骤确定 n w 的值： n 1. 根据θ 为w 选择一个主题z ，即将待定词w 指派 i n