基于背景学习的迭代式文本分类框架-计算机应用技术专业论文.docxVIP

暨南大学硕士学位论文基于背景学习的迭代式文本分类框架 暨南大学硕士学位论文 基于背景学习的迭代式文本分类框架 PAGE PAGE IV 目录 摘要 I Abstract II HYPERLINK \l _bookmark0 目录 III HYPERLINK \l _bookmark1 1 绪论 1 HYPERLINK \l _bookmark2 1.1 研究背景 1 HYPERLINK \l _bookmark3 1.2 研究意义 2 HYPERLINK \l _bookmark4 1.3 国内外研究现状 2 HYPERLINK \l _bookmark5 1.4 研究内容 4 HYPERLINK \l _bookmark6 1.5 文章结构 4 HYPERLINK \l _bookmark7 2 相关理论和技术介绍 5 HYPERLINK \l _bookmark8 2.1 分类技术的分析与比较 5 HYPERLINK \l _bookmark9 2.2 基于统计的分类 6 HYPERLINK \l _bookmark10 2.3 文本分类的过程 8 HYPERLINK \l _bookmark11 2.4 本章小结 10 HYPERLINK \l _bookmark12 3 互信息度算法的改进研究 11 HYPERLINK \l _bookmark13 3.1 互信息度 11 HYPERLINK \l _bookmark14 3.2 基于互信息的文本处理 12 HYPERLINK \l _bookmark15 3.3 改进词语处理方法 13 HYPERLINK \l _bookmark16 3.4 本章小结 16 HYPERLINK \l _bookmark17 4 基于背景知识学习的文本分类 17 HYPERLINK \l _bookmark18 4.1 基于背景的迭代式框架 17 HYPERLINK \l _bookmark19 4.2 词语预处理 18 HYPERLINK \l _bookmark20 4.3 生成分类器 23 HYPERLINK \l _bookmark21 4.4 本章小结 25 HYPERLINK \l _bookmark22 5 实验及结果分析 26 HYPERLINK \l _bookmark23 5.1 实验数据 26 HYPERLINK \l _bookmark24 5.2 评价标准 26 HYPERLINK \l _bookmark25 5.3 实验方案 27 HYPERLINK \l _bookmark26 5.4 结果分析 28 HYPERLINK \l _bookmark27 5.5 本章小结 32 HYPERLINK \l _bookmark28 6 总结与展望 33 HYPERLINK \l _bookmark29 6.1 本文工作总结 33 HYPERLINK \l _bookmark30 6.2 不足和展望 33 HYPERLINK \l _bookmark31 参考文献 35 HYPERLINK \l _bookmark32 在学期间发表论文清单 38 HYPERLINK \l _bookmark33 致谢 39 PAGE PAGE 1 1 绪论 1.1 研究背景 自从计算机产生以来，各行业和领域广泛使用计算机来采集、处理和存储各种数据。 特别是 Internet 普及后，各种数据泛滥，呈指数式增长。海量的数据让人们无法辨别中隐 含着许多重要的信息和规律，传统的查询方法和工具又难以适应数据量几何级数的增加， 因此，数据挖掘作为一种新的数据分析技术应运而生[1]。它主要研究如何通过一定的算法 从大量甚至海量的数据中发现有用的、但是先前并不知道的、隐藏其中的信息。 文本分类是数据挖掘领域的一个实用且重要的分支，它是指通过对文本内容的挖掘、 分析，把一个文本划分到预先定义的相应的类别的过程。人工分类不仅需要大量工作人员， 而且对分类人员有较高的综合以及专业知识要求。随着自动分类的相关研究的日趋深入和 成熟，文本分类也被应用到越来越多的地方。 比如现在各大型网站都有自己的新闻版块，在新闻版块下面又会分开诸如军事、财经、 体育、娱乐、房产、教育等不同类别，即使如此细分，新闻网站每天仍然有海量的新闻需 要统计和分类。文本分类技术的研究可以给这些分类工作提供极大的帮助。新闻分类除了 对每天新发生的新闻进行分类，还需要在归档时对过时的需要保存到档案数据库中的过时 新闻进行分类。需要指出的是，新闻还可以被从不同的角度归入多个类别，比如一篇