一种改进的fidf特征信息表示方法.docxVIP

一种改进的fidf特征信息表示方法

自动排序文本的任务是自动处理未知类别的文档，并评估指定的类别中的一个或多个类别的集合。随着各种电子形式的文本文档以指数级的速度增长,有效的信息检索、内容管理及信息过滤等应用变得越来越重要和困难。文本自动分类是一个有效的解决办法,已成为一项具有实用价值的关键技术。近年来,多种统计理论和机器学习方法被用来进行文本的自动分类,掀起了文本自动分类研究和应用的热潮。本文通过研究发现传统的文本特征权值表示方法TFIDF的不足:存在着低估某一个类中频繁出现的词条的缺陷。其实在一个类中频繁出现的词条恰好能够代表此类文本的特性,是应该给它们较高的权重的。本文对此进行了改进,在为每个类训练分类器的时候,用到了遗传算法的寻优策略,最后通过实验证明改进的TFIDF方法是可行的。

1创建分类机构

文本分类的步骤如下:

(1)分词处理。分词技术是文本分类的基础。简单地说,就是用分词算法,把文本切分成字、词和短语。对于英文文本、单词用空格分隔,因此英文文本直接可以用空格进行切分,然而,中文句子是以连续的字符串形式出现的,词与词之间没有间隔,对于中文文本的分词,需要进行特殊的处理。目前比较常用的方法有最大匹配法(MaximumMatchMethod)、反向最大匹配法(ReverseDirectionMaximumMatchingMethod)、二次扫描法和联想-