Web信息抽取中的文本分类讲解.doc

摘 要 在机器学习理论中支持向量机（SVM）有着重要的地位，无论是求解分类问题还是求解回归问题，SVM都有着广泛的应用。本文简单的介绍了SVM的基本原理，讨论了SVM在文本分类中的应用，并详细的分析了如何利用SVM构造文本分类器。这里说明了文本分类的详细处理过程，并介绍了这些过程中的关键技术，如：分词技术、向量空间模型（VSM）、特征选取技术和SVM的交叉验证技术等等。结合着分析和讨论又概略的说明了利用Microsoft Visual C++ 6.0创建文本分类系统的过程，介绍了重要的类和关键处理函数的实现和优化，以及如何利用动态链接库来实现C++到Java的迁移。最后给出了由本系统得到的实验数据和结论。 关键字： 机器学习 文本分类 支持向量机（SVM） ABSTRACT Support Vector Machines (SVM) has an important position in Machine learning theory, whether it is to solve the classification problem or request for the reunification issue, SVM has a wide range of applications. In this paper, a short introduction into the basic principles of SVM, a detailed discussion of the SVM in the text classification, and a careful analysis of how to make use of SVM to construct classifier for a text classification. Heres the text of the detailed classification process and introduced in the course of these key technologies, such as: segmentation technology, vector space model (VSM), features selection technology, cross-verification technology of the SVM and so on. With the analysis and discussion also briefly described the process of making use of Microsoft Visual C++ 6.0 to create the text classification system, introduced the realization and optimization of the key class and important functions, and how to use of dynamic link library to achieve the migration from C++ to Java. Finally, the experimental data and conclusions produced by this system are shown. Keywords: machine learning text classification SVM(support vector machine) 目 录 第一章 引言 1 1.1 总体项目背景 1 1.1.1 基于Web的信息集成系统 1 1.1.2 基于Web的信息集成系统的需求和系统结构 2 1.2 文本分类系统的任务和目标 3 1.3 本文主要研究内容 4 第二章 相关理论 7 2.1 文本自动分类 7 2.3 支持向量机(SVM) 8 2.4 SVM的原理 9 2.4.1 线性支持向量机 9 2.4.2 非线性支持向量机 11 2.5 SVM文本分类 13 第三章 需求分析 15 3.1 SVM的两个阶段 15 3.2 训练阶段目标 16 3.3 测试阶段目标 18 3.4 外部接口 18 第四章 总体设计与实现工具的选择 21 4.1 总体结构 21 4.2 训练阶段 21 4.2.1 分词及词频统计 21 4.2.2 文本向量空间模型(VSM)及文本特征选取 27 4.2.3 文本向量化 31 4.2.4 文本分类器 32 4.3 测试阶段 36 4.3.1 分词及词频统计 36 4.3.2 文本向量化