基于MB-LDA模型的微博主题挖掘陈元元.pptVIP

基于MB-LDA模型的微博主题挖掘 摘要：Twitter等微博网站日趋流行，已成为海量信息的发布体．在数据挖掘领域，尽管传统文本的主题挖掘已经得到了广泛的研究，但对于微博这种特殊的文本，因其本身带有一些结构化的社会网络方面的信息，传统的文本挖掘算法不能很好地对它进行建模．提出了一个基于LDA的微博生成模型MB-LDA，综合考虑了微博的联系人关联关系和文本关联关系，来辅助进行微博的主题挖掘．采用吉布斯抽样法对模型进行推导，不仅能挖掘出微博的主题，还能挖掘出联系人关注的主题．此外，模型还能推广到许多带有社交网络性质的文本中．在真实数据集上的实验表明，MB-LDA模型能有效地对微博进行主题挖掘． 关键词：微博；主题挖掘；LDA；概率生成模型；社交网络 1.微博的简介 微博 作为Web2．0时代兴起的一种互联网社交网络服务，以其快速便捷的特性风靡全球．微博基于用户之间的关联关系，构筑了一个信息传播和分享的平台，用户可以通过网络、手机或是其他客户端登录微博，实时地进行短文本信息的更新和分享． 如：用户可以发布自己最新的状态、表达自己对事物的观点，也可以对某人单独地发起对话，还可以转发别人的微博． 微博网站Twitter注册用户已达1.75亿，每天发布的消息超过1.3亿条。 本文的贡献： 综合考虑了微博中的结构化数据(联系人信息和锐推信息)和非结构化数据(文本信息)，提出了适合于微博主题挖掘的新模型MB-LDA； 利用吉布斯抽样法(Gibbs sampling)对MB-LDA模型进行求解，实现主题挖掘，并可以将模型推广到其他带有社会网络性质的文本中(如Email、聊天记录等)； 在真实数据集上对模型进行了验证，表明MB-LDA模型能很好地对微博数据进行主题挖掘． 缺陷：文章篇幅有限，MB-LDA模型在计算机上的具体操作未详细说明 个人收获： 大数据时代缺乏的不是数据，而是怎样挖掘出潜在数据价值 将MB-LDA主题挖掘模型可否运用于电子商务平台 各种模型的灵活运用需要加强数学功底 数据挖掘需要跨学科间的合作，效果才会更突显 推荐书籍《大数据分析：方法与运用》 * 汇报人：陈元元 MicroBlog-latent Dirichlet allocation 目录 微博的简介 文本主题挖掘算法 微博主题挖掘 实验 1.微博的简介 特定发送对象 感兴趣微博的转发 锐推 对话 所有人均可见 广播 按消息发布方式分类 LOL RT @ Ethan This is a good website http：//www．vlis．zju．edu． 原创内容 RT表示锐推类型 转发内容 转发部分的作者为Ethan 在信息爆炸时代，从海量信息中挖掘出有效的主题信息，分析出内在语义关联显得尤为重要． 微博本身是一种非结构化的文本信息载体，却又带有一些结构化的社会网络方面的信息，这种社会网络的关联关系在主题挖掘时可以起到辅助作用； 每条微博是一个文本片段(通常只有一句话)，携带的信息量不大，这种短文本结构会加大其主题挖掘的难度． 这些特性决定了微博主题挖掘不能简单地套用传统的文本主题挖掘的方法． 1.微博的简介 2.关于文本主题挖掘算法 2.1 传统的主题挖掘算法 2.2 基于线性代数的主题挖掘算法 2.3 基于概率模型的主题挖掘算法 2.关于文本主题挖掘算法 2.1传统的主题挖掘算法 概要：通过VSM（vector space model)将文本里的非结构化数据映射到向量空间中的点，然后用传统的聚类算法实现文本聚类，聚类结果近似认为满足同一个主题． 缺点：仅区分类别，并未给出语义信息，不利于人们理解 2.关于文本主题挖掘算法 2.2 基于线性代数的主题挖掘算法 概要：LSA (latent semantic analysis)利用SVD (singular value decomposition)的降维方法来挖掘文档的潜在结构(语义结构)，在低维的语义空间里进行查询和相关性分析，通过SVD等数学手段，使得这种隐含的相关性能够被很好地挖掘出来． 优点：语义空间的维度类似人类语义理解的维度，便于人类的理解，将表面信息转化为深层次的抽象． 缺点：未能解决文本的“一词多义”问题；使得主题的理解并不直观． 2.关于文本主题挖掘算法 2.3 基于概率模型的主题挖掘算法 概要：主题模型(topic model)中假设，主题可以根据一定的规则生成单词，那么在已经知道文本单词的情况下，可以通过概率方法反推出文本集的主题分布情况．最具代表性的是PLSA (概率潜语义模型)和LDA（潜在狄利克雷模型）． PLSA沿用了LSA的降维思想：主题挖掘就是通过“降维”将文档从高维空间投影到了语义空间。 LDA在PLSA的基础上加入了Dirichlet先验分布，是PLSA的一个突破