基于主题模型的文本挖掘的研究-计算机应用技术专业论文.docxVIP

硕士学位论文基于主题模型的文本挖掘的研究 硕士学位论文 基于主题模型的文本挖掘的研究 Research on Text Mining Based on Topic Model 作者姓名： 王 壶 学科、专业： 盐篡扭座恿挞盔 举 县．指导 教师： 亟绍武 完成日期： 2015一04—25 大连理工大学 Dalian University of Technology 万方数据 大连理工大学学位论文独创性声明作者郑重声明：所呈交的学位论文，是本人在导师的指导下进行研究 大连理工大学学位论文独创性声明 作者郑重声明：所呈交的学位论文，是本人在导师的指导下进行研究 工作所取得的成果。尽我所知，除文中已经注明引用内容和致谢的地方外， 本论文不包含其他个人或集体已经发表的研究成果，也不包含其他已申请 学位或其他用途使用过的成果。与我一同工作的同志对本研究所做的贡献 均已在论文中做了明确的说明并表示了谢意。 若有不实之处，本人愿意承担相关法律责任。 学位论文题目： 作者签名： 万方数据 ll帅帅咖籼咖帅帅吣硼硼大连理工大学硕士学位论文 ll帅帅咖籼咖帅帅吣硼硼 大连理工大学硕士学位论文 。Y2821 63—1一 摘 要 随着大数据时代的到来以及互联网的不断发展，以文本资源为典型的各种资源呈爆 炸式增长，从纷繁复杂的文本资源中挖掘有潜在价值的、用户感兴趣的信息变得愈加困 难。研究人员钻研了各种算法、设计了各种工具以便用户能够帮助我们快速、有效地理 解大量文本内容，这些工作归结在一起主要是文本主题挖掘技术。主题是文本的灵魂， 发掘文本主题是用户去粗取精、去伪存真、从感性认识到理性认识的飞跃过程，是用户 对文本深入开发的过程。本文首先利用LDA主题聚类技术挖掘期刊论文中的主题信息， 发现主题模型对期刊推荐方法有较大的帮助，但是也存在一定的问题，例如LDA主题 数目确定困难、主题随时间发生变化。因此本文又深入探索了如何挖掘主题随时问的变 化并可视化展示，即主题演化信息及可视化展示问题。发现主题演化信息并展示对了解 主题的研究热点、演变趋势以及对未来进行预测等有很大帮助。文本主要内容如下： 首先，本文研究了主题模型对期刊推荐的应用价值，以潜在狄利克雷分配(LDA) 主题模型的结果为基础，结合SVM分类算法，大大提升了分类算法在期刊推荐的效果。 论文投稿不仅牵扯到论文和期刊的研究方向，还牵扯到论文以及期刊的质量高低，为了 在学者投稿时帮助学者选择合适的期刊，本文对LDA主题模型进行深入学习，结合SVM 分类算法进行期刊推荐，实验发现基于LDA的期刊推荐算法明显优于基于SVM的期刊 推荐方法、基于内容的期刊推荐方法、基于用户的期刊推荐、基于期刊相似度的推荐方 法，而且本文在对推荐错误的论文进行研究发现有些期刊存在发表与自己研究主题不大 相符的问题。 其次，本文利用分层的狄里克雷分布(HDP)主题挖掘算法研究了主题演化问题(主 题的分流、合流，主题的渐增、渐减，主题的新生、消亡)，并利用主题河将主题演化 信息生动地展示出来。本文以汽车专利为出发点研究汽车产业中的主题演化信息，将 HDP算法应用到汽车专利主题聚类中，通过当前主题以及加入历史信息之后的主题变化 来发现主题之间的分流、合流等关系，然后将主题以及主题的分流、合流信息利用可视 化技术直观展示出来。实验发现中文汽车专利有三个重要主题，而且各个主题之间有分 流、合流，有逐年递增也有逐年递减，有新生主题也有消亡主题等各种形式。 关键词：主题挖掘；分层狄利克雷分布；潜在狄利克雷分配 万方数据 基于主题模型的文本挖掘的研究Research 基于主题模型的文本挖掘的研究 Research on Text Mining Based on Topic Model Abstract With the continuous development of也e Intemet，a variety of resources，led to text resource are in explosive growth，finding the valuable information from them which the user interested is becoming more and more difficult．In order to do that，amount of researchers have studied a variety of algorithms and developed a lot of text tools to allow users to effectively organize and manage the text information，thus helping