面向迁移学习地文本特征提取.pdf

第一章绪论 模式提取，模式评价四个阶段。 图1．1文本挖掘处理模型 1．3研究内容 文本挖掘处理的是大量的，非结构化的文本数据，而文本数据使用自然语言 描述，因此对于无统一结构的文本数据，一个重要的问题就是信息的预处理。文 本表示一般采用效果较好的矢量空间模型。而在文本挖掘中使用的特征属性一般 维度较高，同时，文档中所包含的信息往往又有很多冗余的内容。如何有效降低 文本特征向量的维数直接关系到文本分类的效率。 现在常用的特征提取方法有：信息增益、期望交叉信息熵、互信息等。特征 提取是文本表示的基础，而文本表示又是分类的基础，因此特征提取的结果直接 关系到分类的效果。然而，当出现样本不足，采用迁移学习算法时，由于测试数 据与训练数据并不服从统一分布，在训练数据中提取出的特征在测试数据上对于 分类并不一定是最优的，而且效果往往并不理想。因此在分类过程中采用迁移学 习算法时，在特征提取的步骤上也应考虑到训练数据与测试数据的差异，作出相 应的调整。本文将针对应用广泛的文本二分类问题，对采用迁移学习时的文本特 征提取作出改进，使提取出的特征能够更适应测试数据上的分类。具体研究内容 如下： (1)实现了传统的文本特征提取与分类算法，搜集了相关的训练数据，观 察在训练数据与测试数据不服从相同分布的情况下，分类算法的表现，发现了在 迁移学习情况下，已有的特征提取算法的问题。 (2)对已有算法提出改进，并进行了实验，分析探讨了实验的结果。 第一章绪论 1．4论文结构 本文主要对文本分类，迁移学习进行研究与实现，并且对现有算法作出改进， 通过实验验证其效果。本文共五章： 第一章对文本挖掘，迁移学习作了概述，阐述了研究二者的背景与意义，并 介绍了在现实中文本二分类的应用。明确了要研究的问题。最后给出了文章的结 构。 第二章是对文本分类的详细阐述。介绍了文本分类的概念，研究现状，文本 分类的过程及相关算法。 第三章着重介绍了迁移学习的概念与研究现状，并介绍了以Adaboost算法 为基础的迁移学习算法Tradaboost。对现有特征提取方法进行了比较，并针对 Tradaboost算法，提出改进的特征提取算法。 第四章描述了对新方法进行的实验，并分析了实验结果。 第五章为全文总结，对今后工作提出展望。 第二章文本分类研究现状 第二章文本分类研究现状 2．1文本分类的任务与步骤 文本分类是指按照预先定义的主题类别，为文档集合中的每篇文档确定一个 类别。文本分类是一个有监督的学习过程，它使用一些已经加上标注的文档作为 训练集，找到文本特征与文本类型之间的关系，然后利用这个模型对新文本的类 别进行判断。这个过程实际上是对文本的模式特征进行识别，本质上就是一个模 式识别过程。文本分类的过程主要由以下几个步骤组成： 一、获取训练文档集。训练数据的好坏直接关系到最终分类模型的好坏，因此在 选取训练文档时应该由相关领域的专家进行挑选，以求获得较高的质量，或 是使用那些研究者使用较多的公开数据集。 二、信息的预处理。研究时采用的数据大多取自于现实生活，而这样的文档经常 还包含很多研究者并不关心的内容，如Web文档中插入的广告，某些无用 的HTML标记，等等。因此在进行文本的特征提取前必须对文本进行预处 理。预处理的工作包括去除噪声数据，去除停用词，对英文文本进行词根还 原。对中文文本而言，还有一项关键的工作——分词。因为在中文里，句子 中最基本的元素是字而不是词，词与词之间不像英文中那样有固定的分隔 符，为了进行特征提取，还需要对中文文本进行分词，分词不仅要为词与词 之间加上分隔符，还要对词语进行词性的标注。现在已经有很多不错的中文 般用户的需求。 三、特征提取。可以将文本中的词语作为文本的特征，然而在没有经过降维处理 的情况下，文本的特征向量往往都达到上万维。所以对文本进行特征提取， 降低文本特征维数是相当重要的，这决定了文本挖掘的效率。 四、文本表示。文本一般都采用自然语言描述，计算机不可能理解其含义。因此 需要将文本转化为计算机可以理解的形式，特征提取已经为这一