领域内文本褒贬倾向性分类中的特征提取技术.pdf

趣鱼鱼室鱼到西脸峻土芳洲 软件时空 文章编号:1008-0570(2006)12-3-0263-02 领域内文本褒贬倾向性分类中的特征提取技术 ResearchingonFeatureSelectionMethodinDomainalTextAppraisiveCategorization (1.许昌学院2;;.郑州大学)熊德兰’柴玉梅2 XIONG DELAN CHAI丫UMEI 摘要:本文介绍了文本褒贬倾向性分类的方法和技术，重点论述了文本的表示方法和衰贬特征抽取的方法，提出了基于MI 特征提取方法的改进办法。实验结果表明，这种改进有利于褒贬特征的抽取，从而提高了分类的精度。 关键字:文本倾向性分类;文本表示;特征提取;向f空间模型 中图分类号:TP391 文献标识码:A Abstract:Thispaperintroducedmethodandtechnicaloftextappraisivecategorization,andemphaticallydiscussedthemethodofex- pressionthetextandofextractingappraisivecharacteristicwords.Atthesametime,wepointedoutamodifiedwaybasedonmutual information(MI).Andtheresultsofexperimentshowthatthismodifyisbeneficialtoextractingappraisivetraits,consequently,improve categorizationprecision. Keyword:textappraisivecategorization,textexpression,textcharacterextracting,VSM 1 引言 t}，每个文档di表示为所有词语的权值d,=(wlwy,..., w71)1。文档向量的每一个元素(即每个词语对应的权 自上个世纪80年代以来，信息化的浪潮席卷全 值)是根据该词语在文档中出现频率、位置、链接信息 球，信息技术迅速地渗透到社会经济的各个领域。文 等不同的方式进行计算得到的。其中最常用的权值计 本自动分类技术也随着时代的需求而蓬勃发展起来， 算方法有TF,TFIDF等。TF(ti,d;)表示词语t;在文档d; 它是一种有效的信息处理方法，可以大大提高了用户 中出现的频次，它能从局部上反映单个文档与词语之 搜集情报的效率。依据文本内容的情感态度可以进行 间绝对的相关性。但从整个文档集出发，就要考虑文 文本褒贬倾向性分类，它将是未来实现多角度、立体 档之间的差异性，这就是逆文档频率IDF。而TFIDF 性文本分类脚的一个重要研究方面，具有广泛的应用 的权值计算方法综合考虑了TF和IDF，目前存在多种 领域，目前此类研究还比较少。 TF-IDF公式，我们在系统中采用了一种比较普遍的 本文主要探讨了领域内文本褒贬倾向性分类中 TF-IDF公式: 的特征提取技术和实现方法，文章的组织结构如下: tf(t,d)xlog(N/n,+0.01) 第2节介绍了文本的表示方法，给出了向量空间模型 W (t,d)= 中文本特征向量的表示方法，以及向量权值的计算方 艺、;份(，，d)xlog(，/n,+0.01)T 法;第3节描述了在现有特征抽取算法的基础上，进 其中，w(t,d)为词语t在文本d中的权重，而tf(t,d) 行文本褒贬倾向性分类时需要改进的提取特征向量 为词语t在文本J中的词频，N为训练文本的总数，nt 为训练文本集中出现t的文本数，分母为归一化因子。 算法;第4节给出了上述