文本特征提取方法研究 .pdfVIP

文本特征提取方法研究 ______________________________________________________ 一、课题背景概述 文本挖掘是一门交叉性学科 , 涉及数据挖掘、机器学习、模式识别、人工 智能、统计学、计算机语言学、计算机网络技术、信息学等多个领域。文本挖掘 就是从大量的文档中发现隐含知识和模式的一种方法和工具 , 它从数据挖掘发 展而来 , 但与传统的数据挖掘又有许多不同。文本挖掘的对象是海量、异构、 分布的文档 (web); 文档内容是人类所使用的自然语言 , 缺乏计算机可理解的 语义。传统数据挖掘所处理的数据是结构化的 , 而文档 (web) 都是半结构或无 结构的。所以 , 文本挖掘面临的首要问题是如何在计算机中合理地表示文本 , 使之既要包含足够的信息以反映文本的特征 , 又不至于过于复杂使学习算法无 法处理。在浩如烟海的网络信息中 ,80% 的信息是以文本的形式存放的，WEB 文 本挖掘是 WEB 内容挖掘的一种重要形式。 文本的表示及其特征项的选取是文本挖掘、信息检索的一个基本问题，它把 从文本中抽取出的特征词进行量化来表示文本信息。将它们从一个无结构的原始 文本转化为结构化的计算机可以识别处理的信息，即对文本进行科学的抽象，建 立它的数学模型，用以描述和代替文本。使计算机能够通过对这种模型的计算和 操作来实现对文本的识别。由于文本是非结构化的数据 , 要想从大量的文本中 挖掘有用的信息就必须首先将文本转化为可处理的结构化形式。目前人们通常采 用向量空间模型来描述文本向量 , 但是如果直接用分词算法和词频统计方法得 到的特征项来表示文本向量中的各个维 , 那么这个向量的维度将是非常的大。 这种未经处理的文本矢量不仅给后续工作带来巨大的计算开销 , 使整个处理过 程的效率非常低下 , 而且会损害分类、聚类算法的精确性 , 从而使所得到的结 果很难令人满意。因此 , 必须对文本向量做进一步净化处理 , 在保证原文含义 的基础上 , 找出对文本特征类别最具代表性的文本特征。为了解决这个问题 , 最有效的办法就是通过特征选择来降维。 目前有关文本表示的研究主要集中于文本表示模型的选择和特征词选择算 法的选取上。用于表示文本的基本单位通常称为文本的特征或特征项。特征项必 须具备一定的特性:1) 特征项要能够确实标识文本内容 ;2) 特征项具有将目标 文本与其他文本相区分的能力 ;3) 特征项的个数不能太多 ;4) 特征项分离要 比较容易实现。 在中文文本中可以采用字、词或短语作为表示文本的特征项。相比较而言， 词比字具有更强的表达能力，而词和短语相比，词的切分难度比短语的切分难度 小得多。因此，目前大多数中文文本分类系统都采用词作为特征项，称作特征词。 这些特征词作为文档的中间表示形式，用来实现文档与文档、文档与用户目标之 间的相似度计算 。如果把所有的词都作为特征项，那么特征向量的维数将过于 巨大，从而导致计算量太大，在这样的情况下，要完成文本分类几乎是不可能的。 特征抽取的主要功能是在不损伤文本核心信息的情况下尽量减少要处理的单词 数，以此来降低向量空间维数，从而简化计算，提高文本处理的速度和效率。文 本特征选择对文本内容的过滤和分类、聚类处理、自动摘要以及用户兴趣模式发 现、知识发现等有关方面的研究都有非常重要的影响。通常根据某个特征评估函 数计算各个特征的评分值，然后按评分值对这些特征进行排序，选取若干个评分 值最高的作为特征词，这就是特征抽取 (Feature Selection) 。 特征选取的方式有 4 种： (1) 用映射或变换的方法把原始特征变换为较少 的新特征；(2) 从原始特征中挑选出一些最具代表性的特征；(3) 根据专家的 知识挑选最有影响的特征； (4) 用数学的方法进行选取，找出最具分类信息的 特征，这种方法是一种比较精确的方法，人为因素的干扰较少，尤其适合于文本 自动分类挖掘系统的应用。 随着网络知识组织、人工智能等学科的发展 , 文本特征提取将向着数字化、 智能化、语义化的方向深入发展 , 在社会知识管理方面发挥更大的作用。 二、 文本特征向量 经典的向量空间模型(VSM)由Salton等人于60年代提出，并成功地应用于 著名的SMART文本检索系统。VSM 概念简单,把对文本内容的处理简化为向量空 间中的向量运算, 并且它以空间上的相似度表达语义的相似度, 直观易懂。当文 档被表示为文档空间的向量，就可以通过计算向量之间的相似性来度量