文本分类中特征权重因子的作用研究.pdfVIP

文本分类中特征权重因子的作用研究★ 张爱华1，靖红芳1，王斌1，徐燕2 ’中国科学院计算技术研究所，北京，100190 2北京语言大学，北京，100083 E-mail：zhangaihua@ict．ac．cn。 摘要：在文本分类任务中，通常首先以TFIDF模型表示特征权重，进而通过特征选择函数给出的得分 将特征排序，排名靠前的特征以其TFIDF值输入分类器。特征选择函数所计算如来的得分能一定程度代 表特征的重要性，然而该得分却没有被纳入权重表示中，造成特征表示不精确，影响了分类性能。许多改 进方法使用特征选择函数等反映特征在不同类别问分布的指标来替换IDF因子或将其加入TFIDF模型中， 使分类性能得到了一定的提高，但没有探究各个因子是如何影响分类性能的。本文以词频(TF)、逆文档 频率(IDF)以及特征选择函数(IG及CHI)作为衡量特征的文档代表性、文档区分性以及类别区分性的 因子，通过实验方法测试．r这些因子对于分类性能的影响，得到如下结论：文档代表性因子能够使得分类 效果的峰值最高但抗噪音能力差，文档区分性因子具有抗噪音能力但性能不稳定，类别区分性凶子的抗噪 音能力最强，性能也最稳定。进而说明了如何组合这些因子以得到分类性能的优化，给出r四点构造原则， 并通过实验得到了验证。 关键词：文本分类；权重表示；权重因子作用；VSM Wei i ResearchonEffectsofTermghtngFactorsforText r i zati on Catego Yan2 Binl，Xu ZhangAihual，JingHongfan91，Wang 1Institute ofComputingTechnology,ChineseAcademyofSciences．Beijing,100190 andCulture 2BeijingLanguage University,Beijing,100083 E—mail：zhangaihua@ict．ac．cn Abstract：Intext were TFIDF thenrankedscorescalculated by model by categorization，termsreprensented classifierswiththeir tofeatureselection rankedfeatureswere into TFIDF according functions．finallytop put can the of were forms．Scorescalculatedfeatureselectionfunctions not by expressimportancefeatures，but廿ley a theterm didnottake elementsoftheTFIDF schema．As