一种改进的科技项目特征词检测方法.docxVIP

一种改进的科技项目特征词检测方法 使用空间向量模型方法调查和重新启动科学项目。通常，我们必须首先处理文本。然而，如果直接使用文本向量中的不同维数，整个文本向量的维数将非常高，这将降低整个过程的效率，并损害集成算法的精度。因此, 为了降低向量空间维数, 简化计算, 提高文本处理效率, 需在不损害文本核心信息的情况下尽量减少要处理的单词数。一般的方法是根据某个特征评估函数来计算各个词的特征得分, 又称为权值, 然后按分值对这些特征进行排序, 选取若干个分值最高的作为特征词。这些特征词即可作为文本的中间表示形式, 用来实现文本之间的相似度计算、文本聚类等。特征提取算法的优劣将直接影响到系统的运行效果, 而决定文本特征提取效果的主要因素是评估函数的质量。 当前有多种文本特征的评估算法, 如TF-IDF、词频方法、互信息、期望交叉熵、二次信息熵、信息增益方法、x2统计方法、遗传算法、主成分分析法、模拟退火算法、N-Gram算法等。这些评估算法在不同领域中得到使用, 也各自存在缺点和不足。其中TF-IDF因为计算较为简单并且效果良好, 应用十分广泛。 1 影响变量权重的因素 1.1 去除特定的文本特征 词频是特征提取中必须考虑的重要因素, 一般认为文本中的中频或低频词汇更能反映文本特征, 而高频词则作用不大。极端的例子如“的”这样的词, 在几乎所有文本中都频繁出现, 但对文本特征贡献为零, 所以一些算法中直接用停用词表将此类高频词去除。 张鹏飞等指出:大规模文本的词频统计显示, 每个词在常用文本中均有相对固定的一个词频范围和篇章覆盖程度, 特定的词在特定类别文本中的词频和篇章覆盖程度也是相对固定的, 而且这个特征与该词在其他类别中的特征也是存在差别的。如某个特征词X在一般文本中属于中频词, 在类别T1中变成了高频词, 而在T2中变成了低频词, 那么这个词可以被用来作为区分T1、T2及其他类别的特征词。 1.2 虚词的识别 中文文本中能标识文本特性的一般是实词, 如名词、动词、形容词等。而感叹词、介词、连词等虚词对确定文本类别基本没有意义, 如果将虚词作为文本特征词, 会带来很大噪音, 降低文本分类的效率和准确率。因此, 提取文本特征时应去除虚词, 只提取文本中的名词和动词等实词作为文本的特征词。 1.3 文本中心内词 一般文本的标题简练、醒目, 与文本的主要内容有着重要的联系, 通常是文本中心内容的高度概括。文本中类似“总之”、“综上所述”等概括性语义后的句子, 往往也包含了文本的中心内容。因此, 这些位置中的词应该具有更加重要的地位。李爱仕提到, 美国的P.E.Baxendale的调查结果显示:段落的论题是段落首句的概率为85%。因此, 我们可以认为, 首段、末段、段首、段尾、标题和副标题、子标题、概括句等处的句子在较大程度上概述了文章的内容, 对于这些位置句子中的词, 其相应表示文本内容或区别文本类别的能力较高, 所以在单词权值计算中应考虑该词的位置信息, 对上述位置的词增加权重。 1.4 在分词词典中的应用 一般通用词库里的词大多不会成为科技项目文本中的特征词, 为了提高系统运行效率, 应根据科技项目文本的特点建立专业的分词词典, 通过人工确定领域内的关键词集, 这样在保证特征提取准确性的前提下, 可提高系统的运行效率。 1.5 面向功能的和短词 一般中文中较长的词往往反映比较具体、下位的概念, 而较短的词则表示相对抽象、上位的概念。长词的频率较低, 是面向内容的;短词具有较高的频率和更多的含义, 是面向功能的。因此, 增加长词的权重, 有利于对词汇进行分割, 从而更准确地反映出特征词在文章中的重要程度, 尤其在科技项目的文档中的关键词多是一些专业学术组合词汇, 长度较长, 其含义更明确, 更能反映文本主题。 1.6 其他语义分析 向量空间模型最基本的假设是各个分量间正交, 但实际上, 作为分量的词汇间可能存在很大的相关性, 模型的假设是无法满足的。因此, 还需要对文本进行部分语义分析, 如进行同义词合并等。科技项目文本中, 经常可见“计算机”、“电脑”等含义相同或者近似的词, 应该将它们合并成同一词。这样得到的词作为文档向量的特征项, 可以减少特征之间的相关性, 降低文档向量的维数, 提高特征提取的精度和效率。但目前这方面的算法比较复杂, 本文在这方面不做进一步的讨论。 2 通常的t-idf值算法 2.1 特征空间系统集成的tf-idf测度 TF-IDF (Term Frequency-Inverse Document Frequency) 是一种统计方法, 用以评估一个词对于一个文件集的重要程度, 其中TF称为词频, 用于计算该词描述文档内容的能力, IDF称为反文档频率, 用于计算该词区分文档的能力。TF-IDF基于以下设定