基于PBTM的海量微博主题发现.pdfVIP

第 32卷第 3期 计 算 机 应 用 研 究 Vo1．32No．3 2015年 3月 ApplicationResearchofComputers Mar．2015 基于 PBTM 的海量微博主题发现 郑 涛，王路路 ，杨 冰 ，姬东鸿 (武汉大学 计算机学院，武汉430072) 摘 要：BTM(bitermtopicmode1)能较好挖掘 出微博主题。但面对海量微博 ，BTM无法胜任 ，因为 BTM挖掘主 题速度过慢。基于此 ，提 出一种基于吉布斯采样本主机 biterm元组来更新主题单词全局矩阵的分布式 的BTM 模型PBTM(parallelbitermtopicmode1)，通过多台主机同时对语料库进行本主机biterm吉布斯采样 ，然后每次迭 代后更新全局主题单词矩阵，直到采样收敛。通过MPI集群实现PBTM模型，实验结果表明，PBTM主题挖掘微 博文本速度较 BTM大大加快。 关键词 ：主题模型；主题发现；PBTM；吉布斯采样；分布式计算 中图分类号 ：T391．1 文献标志码 ：A 文章编号：1001—3695(2015)03—0768．03 doi：10．3969／j．issn．1001—3695．2015．03．029 Largescalemicroblog’StopicdiscoverybasedonPBTM ZHENG Tao，WANG Lu—lu，YANGBing，JIDong—hong (SchoolofComputer，WuhanUniversity，Wuhan430072，China) Abstract：BecausetheBTM miningthetopiciSvel2~slowly，SOtheBTM cannotdoverywellonthelargesealemircoblog． So，thispaperpresentedadistributedBTM thatupdatedthegobaltopicwordmatrixbysamplingthelocalhostbiterm set whichcalledPBTM ．ItusedmultiplehostsGibbssampleonthelocalbiterm setandthenupdatedthegobaltopicWOrdmatrix aftereachGibbssample’Siterationuntilsamplingconvergence．AndthispaperimplementedPBTM algorithm throughtheMPI cluster．Experimentalresultsshow thatPBTM topicmining’SspeediSgreatfasterthantheBTM． Keywords：topicmodel；topicdiscovery；PBTM(parallelbitermtopicmode1)；Gibbssample；distributedcomputing 微博即微博客，始于美国Twitter公司，是一个基于用户关 决多义词现象，同一个单词通过 LSA算法映射到隐藏语义空 系信息分享 、传播 以及获取的平台。用户可以通过 Web、WAP 间只有一个坐标点。无法用多个点来表示不同的含义，并且通 等各种客户端组建个人社区，以140字左右的文字更新信息， 过SVD算法进行矩阵分解，计算开销很大，如果来一批新的文 并实现即时分享。同时本土的微博服务在这几年非常盛行，其 档，则无法用以前的模型，需要重新训练。PLSA(probabilistic 中腾讯微博 、新浪微博最为流行。如何快速从这种海量的微博 latentsemanticanalysis)是 Hofmann 概率模型的算法。PLSA 中挖掘出有价值的主题信息，对于预