基于半监督学习的文本分类算法研究-计算机应用技术专业论文.docxVIP

万方数据 万方数据 分类号： 密级： ＵＤＣ： 编号： 工学硕士学位论文 基于半监督学习的文本分类算法研究 硕士研究生 ：董帅 指导教师 ：李江华 教授 学位级别 ：工学硕士 学科、专业 ：计算机应用技术 所在单位 ：计算机科学与技术学院 论文提交日期：2013 年 12 月 30 日 论文答辩日期：2014 年 3 月 10 日 学位授予单位：哈尔滨工程大学 Classified Index: U.D.C: Research on the Text Classfication Based on the Semi-supervised Learning Candidate: Dong Shuai Supervisor: Prof. Li Jianghua Academic Degree Applied for: Master of Engineering Speciality: Computer Applied Technology Date of Submission: December, 2013 Date of Oral Examination: March, 2014 University: Harbin Engineering University 哈尔滨工程大学 学位论文原创性声明 本人郑重声明：本论文的所有工作，是在导师的指导下，由作者本人独立完成的。有 关观点、方法、数据和文献的引用已在文中指出，并与参考文献相对应。除文中已注明引 用的内容外，本论文不包含任何其他个人或集体已经公开发表的作品成果。对本文的研究 做出重要贡献的个人和集体，均已在文中以明确方式标明。本人完全意识到本声明的法律 结果由本人承担。 作者（签字）： 日期： 年 月 日 哈尔滨工程大学 学位论文授权使用声明 本人完全了解学校保护知识产权的有关规定，即研究生在校攻读学位期间论文工作的 知识产权属于哈尔滨工程大学。哈尔滨工程大学有权保留并向国家有关部门或机构送交论 文的复印件。本人允许哈尔滨工程大学将论文的部分或全部内容编入有关数据库进行检 索，可采用影印、缩印或扫描等复制手段保存和汇编本学位论文，可以公布论文的全部内 容。同时本人保证毕业后结合学位论文研究课题再撰写的论文一律注明作者第一署名单位 为哈尔滨工程大学。涉密学位论文待解密后适用本声明。 本论文（□在授予学位后即可 □在授予学位12个月后 □解密后）由哈尔滨工程大 学送交有关部门进行保存、汇编等。 作者（签字）： 导师（签字）： 日期： 年 月 日 年 月 日 基于 基于半监督学习的文本分类算法研究 摘 要 信息技术和网络技术的发展的同时也带来了信息海量增长，因此如何将信息 有效的分类以便人们更加高效的利用信息是一项艰巨的任务。文本形式的信息广 泛应用于信息检索、文本数据库、数字图书馆、垃圾邮件识别、信息过滤和微博 主题挖掘这些贴近人们生活的领域中。 本文以中文文本分类领域为背景，首先分析了中文文本分类领域的发展现 状，针对现阶段存在的问题，改进了基于半监督学习的中文文本分类算法。改进 后的文本分类算法弥补现有文本分类算法的缺陷，并发挥半监督学习在少量训练 样本下训练的优势：可以在尽量保持分类算法的分类正确率的前提下，减少文本 分类过程中人工的参与。本文的基于半监督学习的中文文本算法具有如下几个特 点：引入基于密度的聚类算法，并将主题类别数目自确定问题映射到基于密度聚 类的类别数目确定问题中，使用基于密度的聚类算法 OPTICS 对文本向量进行聚 类从而确定类别数目；使用 LDA 主题模型作为聚类器，利用其计算结果自动对 样本进行标记，解决了有标签训练样本获取问题；在 Tri-Training 协同训练框架 下，训练完成后在分类时使用了加权投票分类方法，扩大了传统分类算法的适用 范围。本文对半监督学习文本分类算法的整体流程并对其效果进行了实验和分 析。结果表明本文给出的方法在实际应用取得了良好的效果，对中文本文分类技 术的进一步研究也具有一定的借鉴作用。 关键词：LDA 主题模型；半监督学习；Tri-Training；文本分类 哈尔滨 哈尔滨工程大学硕士学位论文 基于 基于半监督学习的文本分类算法研究 Abstract The development of information technology and network technology brings the massive growth of information. In such a condition, how to make people full use of the information is a daunting task. The text information is widely u