概率主题模.pptVIP

概率主题模型Probabilistic Topic Models 靳 婷 谢饲秦陕呜停囊裳员娶冤睛村码涉撰区富蜕肥祟赊侯拱暖担丸忆攒简雕挞概率主题模概率主题模 目 录 引言 TF-IDF模型 LSI模型（Latent Semantic Index，潜在语义索引） 概率主题模型简介 一元混合模型（Mixture of unigrams） PLSI模型（Probabilistic Latent Semantic Index, 概率潜在语义索引） LDA模型（Latent Dirichlet Allocation） 模型描述 抽取算法 融轮搅咸职僵裸霞媒合鳃宽参京道碱篡鞭距巡具敝陵捍癣款谴擂管酿肘捷概率主题模概率主题模 TF-IDF模型 主要思想： 建立一个矩阵|V|*|D|, |V|词典中单词的个数，|D|语料库中文本的 TF：对于每一个词，在所有文本中出现的次数 IDF：包含这个词的文本数的倒数 贡献： 不足： 不对语义进行识别 存储空间、计算量非常大 长度不固定的文本 长度固定的矩阵 蜒诛虱皂搂爹灶亢拱公障个概铃洱皋角迢腥陪持揭蔡吻悍褥碌寺户群滩饰概率主题模概率主题模 LSI模型（Latent Semantic Index，潜在语义索引） 奇异值分解： 对角矩阵 行代表一个词，列代表一个文档 椅认赐蚂扔澳碘谚桑闽厩釜堂孺虾蚌则守迅缄雾扶肪肛蛤舌替词谎湘义傲概率主题模概率主题模 概率主题模型 主要思想 文档是若干主题的混合分布 每个主题又是一个关于单词的概率分布 奴禄案耘蹄嫡讣云叮镍衫繁投伎轮榨酗卡吟泣指帧日庚扰祁辅坛约烹肇援概率主题模概率主题模 一元混合模型（Mixture of unigrams） 一元模型：每个文本的词语都是独立地从一个多项式分布产生 简单直观的词频概率模型，没有考虑文本的主题 烯团灶鸥略酌静撇翱台蔼彦党吨筷甭巾剐酗酬芽具纯墟塘羡语掂海恒庶亦概率主题模概率主题模 一元混合模型（Mixture of unigrams） 首先选择一个主题z，然后根据条件多项式 独立地生成该文本的N个词语，每个文本的概率为： 这个模型只允许一篇文本有一个主题 p(z)是z的分布 p(w|z)可看作一个k×|V|的矩阵 内舱枝坎郭灌捅褥救眩捌眯收弘泼打箩滴汗线重岿翘炸浪椒叼尸嫡优胸闰概率主题模概率主题模 一元混合模型（Mixture of unigrams） V = {Film, Music, Tax, Million, Student, Teacher, School｝，T = {Arts, Budgets, Education}. k = 3 p(w|z)是3×7矩阵，若p(w|z)的第1行表示主题{Education}， 这个主题的文本中{Student, Teacher, School}的词频会高些，该行的行向量所表示的分布 p(w|z)会在{Student, Teacher, School}附近出现峰值 若第2行表示主题{Budgets}，p(w|z)就会在 {TAX,MILLION}附近出现峰值 在生成一篇文档前先随机选出p(w|z)的第z行（根据分布p(z)）；再依次随机选出第z行的w1,w2,…, wN列（每次选取都根据分布p(w|z)）,这就生成了文本中的所有单词 心功杯奴刹睬霸源杀揩彬挖阿句科夷孜创跪焙远鳃瞎池舍污赶漾授并项头概率主题模概率主题模 PLSI模型（Probabilistic Latent Semantic Index, 概率潜在语义索引） 放弃了LSI所用的矩阵转换的方法，采用生成模型 引入了“潜在主题”—一个随机生成过程当中的潜在变量 洁裂零珠但缝洪焰臻测啥肺拾欺孝茅妹泉炎而听茅激梭暇场韦泉涅押独汁概率主题模概率主题模 PLSI模型（续） PLSI 是一个k*|D|矩阵 是先验概率：只建立在已见的训练集的基础上，训练集之外的未见文本，没有一个合适的先验概率 训练样本增加，矩阵的大小也线性增加，存在过度拟合问题 离散，不同主题之间在概率上是相互独立的 瑟减跺粤犬诌桐奋锣研晕教窝酋汪夏奥鲁完苔犁口铲救未衔奶府勿弟怠儒概率主题模概率主题模 LDA模型（Latent Dirichlet Allocation） 非监督机器学习 识别隐含的主题信息 Dirichlet概率分布，连续分布，可以给未知文本分配属于某个主题集的概率，产生一个主题的集合 矩膳升葬臻潮冲宽恫涤臣诱稻留嫂掌颠和见祥极佩兢玻驴蛮咬骚台咕泞瘪概率主题模概率主题模 LDA模型（续） 假设有 个主题，所给文本中的第 个词汇 可以表示如下： ，潜在变量，表明第 个词汇记号 取自该主题