基于主题模型的主题演化分析及预测-信息安全专业论文.docxVIP

万方数据 万方数据 南京邮电大学学位论文原创性声明 本人声明所呈交的学位论文是我个人在导师指导下进行的研究工作及取得的研究成果。 尽我所知，除了文中特别加以标注和致谢的地方外，论文中不包含其他人已经发表或撰写过 的研究成果，也不包含为获得南京邮电大学或其它教育机构的学位或证书而使用过的材料。 与我一同工作的同志对本研究所做的任何贡献均已在论文中作了明确的说明并表示了谢意。 本人学位论文及涉及相关资料若有不实，愿意承担一切相关的法律责任。 研究生签名： 日期： 南京邮电大学学位论文使用授权声明 本人授权南京邮电大学可以保留并向国家有关部门或机构送交论文的复印件和电子文 档；允许论文被查阅和借阅；可以将学位论文的全部或部分内容编入有关数据库进行检索； 可以采用影印、缩印或扫描等复制手段保存、汇编本学位论文。本文电子文档的内容和纸质 论文的内容相一致。论文的公布（包括刊登）授权南京邮电大学研究生院办理。 涉密学位论文在解密后适用本授权书。 研究生签名： 导师签名： 日期： 摘要 随着互联网的不断发展，社交媒体得到了急速发展。如何利用用户在社交网络中产生的 海量数据，来对其进行演化分析，成为了自然语言处理领域的研究热点。在社交媒体中，传 统的主题检测方法其准确性和效率难以保证，为此主题模型的方法被提出。主题模型认为主 题是由一组语义相关的词及词的概率分布表示，其具有可以很好的模拟大规模语料的语义信 息的特性，因而得到广泛的应用。 本文在已有的主题获取与演化技术的基础上做出了以下有意义的创新。首先，提出了一 种基于潜在狄利克雷分配模型的主题演化方法。该方法在已有的演化方法的基础上，增加了 主题过滤的方法，并在主题内容演化方面提出了一种判断主题演化状态的方法；其次，在主 题演化方法的基础上，结合马尔科夫链模型，提出了一种可以预测主题演化趋势的方法；最 后，尝试使用层次狄利克雷过程方法来代替潜在狄利克雷分配模型，以实现主题演化过程中 主题数目的自动确认。 在 NIPS 论文集上的实验表明，本文提出的演化可以准确获得主题在内容和强度上的演 化趋势，结合马尔科夫链的预测方法可以有效预测其在未来几个时间窗口的演化趋势，使用 层次狄利克雷的方法对主题演化进行分析及预测的效果优于使用潜在狄利克雷分配模型的方 法。 关键词: 主题演化，主题模型，潜在狄利克雷分配模型，马尔科夫链，层次狄利克雷过程 IV Abstract With the development of the Internet, social network has a rapid improvement. Evolutionary analysis of mass data generated by the users in social network has become a hot spot in natural language processing. In social network, traditional topic detection method is difficult to guarantee its accuracy and efficiency. Therefore, topic model method is proposed. Topic model method thinks that the topic is the distribution of a group of semantically related words and the probability of them. The characteristics of semantic information in large-scale corpus can been simulated well, so it has been widely applied. Based on the existing topic acquisition and evolution, the following meaningful innovation is been proposed in this paper. First, a topic evolution method based on the latent Dirichlet allocation model. This method on the foundation of the existing evolution method, adds to the method of topic distillation, and in the topic evolution presents a method to j