研究生(大数据技术)报告.pdfVIP

研究生（大数据技术）报告 题 目： 第 27 组-基于 KNN 文本分类分析 学 号 姓 名 专 业 计算机技术 指 导 教 师 院（系、所） 计算机学院 填 表 注 意 事 项 一、 本表适用于攻读硕士学位研究生选题报告、学术报告，攻读 博士学位研究生文献综述、选题报告、论文中期进展报告、学术报 告等。 二、 以上各报告内容及要求由相关院（系、所）做具体要求。 三、 以上各报告均须存入研究生个人学籍档案。 四、 本表填写要求文句通顺、内容明确、字迹工整。 1 1 研究背景 1.1 研究背景以及现实意义 随着 Internet 的迅速发展，现在处于一个信息爆炸的时代，人们可以在 网络上获取更多的信息，如文本、图片、声音、视频等，尤其是文本最为常 用和重要。因此文本的分类在发现有价值的信息中就显得格外重要。文本分 类技术的产生也就应运而生，与日常生活紧密联系，就有较高的实用价值 [1] 。 文本分类的目的是对文本进行合理管理，使得文本能分门别类，方便用 户获取有用的信息。一般可以分为人工 [2] 和自动分类。人工分类是早期的做 法，这种方式有较好的服务质量和分类精度，但是耗时、耗力、效率低、费 用高。而随着信息量以惊人的速度增长，这种方式就显得很困难，所以需要 一种自动分类的方式来代替人工分类；自动分类节省了人力财力，提高准确 力和速度。 1.2 国内外研究现状 国外对于文本分类的研究开展较早， 20 世纪 50 年代末， H.P.Luhn[3] 对 文本分类进行了开创性的研究将词频统计思想应用于文本分类， 1960 年， Maro 发表了关于自动分类的第一篇论文，随后， K.Spark，GSalton，R.M.Needham，M.E.Lesk 以及 K.S.Jones等学者在这一 领域进行了卓有成效的研究。目前，文本分类已经广泛的应用于电子邮件分 类、电子会议、数字图书馆 ] 、搜索引擎、信息检索等方面 [4] 。至今，国外文 本分类技术在以下一些方面取得了不错的研究成果。 (1) 向量空间模型 [5] 的研究日益成熟 Salton 等人在 60 年代末提出的向量 空间模型在文本分类、自动索引、信息检索等领域得到广泛的应用，已成为 最简便高效的文本表示模型之一。 (2)特征项的选择进行了较深入的研究对于英法德等语种，文本可以由 单词、单词簇、短语、短语簇或其他特征项进行表示。 国内对于文本分类的研究起步比较晚， 1981 年，侯汉清教授对于计算 机在文本分类工作中的应用作了探讨，并介绍了国外计算机管理分类表、计 算机分类检索、计算机自动分类、计算机编制分类表等方面的概况。此后， 我国陆续研究出一批计算机辅助分类系统和自动分类系统。但是中英文之间 2 存在较大差异，国内的研究无法直接参照国外的研究成果，所以中文文本分 类技术还存在这一些问题。 (1)缺少统一的中文语料库不存在标准的用于文本分类的中文语料库， 各个学者分头收集自己的训练文本集，并在此基础上开展研究，因此，系统 的性能可比性不强。同时，由于财力人力有限，中文语料库的规模普遍不大。 (2) 向量空间模型的研究还不十分成熟国内的学者，例如，吴立德和黄 萱菁也提出了如何选择特征项的问题，他们提出可以使用字、词、概念作为 特征项来构成向量空间模型，并对以此为基础的文本分类系统进行了初步的 性能比较。但是，在这方面的研究 [6] 还没有深入的开展，尤其是对于概