一种文本特征选择方法的研究.pdfVIP

第 l9卷 第2期 计 算机 技 术 与 发展 V()1．19 No．2 2)【09年 2月 (’OMI)UTERTECHNOI(X；YANDDEVEloPMENT Feb． 2009 一 种文本特征选择方法的研究 陈素萍 ，一，谢丽聪 (1．福州大学 数学与计算机科学学院，福建福州 350002； 2．福建师范大学协和学院，福建 福州 350007) 摘 要：在文本分类中，对高维的特征集进行降维是非常重要的，不但可以提高分类精度和效率，也可以找出富含信息的 特征子集。而特征选择是有效降低特征向量维数的一种方法。目前常用的一些特征选择算法仅仅考虑了特征词与类别 间的相关性，而忽略了特征词与特征词之间的相关性，从而存在特征冗余，影响了分类效果。为此，在分析了常用的一些 特征选择算法之后，提出了一种基于mRMR模型的特征选择方法。实验表明，该特征选择方法有助于提高分类性能。 关键词：文本特征 ；文本分类；特征选择 中图分类号：TP311 文献标识码：A 文章编号：1673—629X(2009)02—0112一I)4 ResearchonDocumentFeatureSelection CHEN Su．ping．．．XIE Li—cong (1．CollegeofMathematicsandComputerScience， houUniversity，FmMu350002，China； 2．ConcordUniversityCollege，Vuji~nNormalUniversity，Fuzh0u350007，China) Abstract：Intextclassification．itisveryimportanttoreducethehigh—dimensionofthefeaturevect0rs．Itnotonlycanimprovethe aocu· racyandefficiencyofclassification，butalsocna discoverimformativefeaturesubset．Faetureselcetionisavalidmethodtoreducethe di- mentionoffaeturevectors．Widelyusedfaetureselectionalgorithmshavejustconsideredthe relationshipsbetweencertainfaeturenada class，butneglectedtherelationshipsbetweenfaetures，thenfeatureredundnacyexistsnadithastinbadimpactontextclassification．In thispaper．proposeafeatureselcetionmethodbasedOntheminimum redundnacy— maximmu rdevna eerfamework．Theexperimentalre- suitsshow thatthismethodisadvantageousinimprovingtheperformanceoftextclassification． KeyWOI~ ：docmnentfeature；textchssifieatoin；featureeslectoin 0 引 言 作是文本分类研究的一个关键问题。停词列表 J和词 随着计算机网络技术的发展，网络数据规模不断 干提取 ]成为该问题上的早期解决方法。 膨胀，如何从海量信息中搜索和管理这些资源成为一 在文本分类中，目前常用的特征选择方法主要是