改进的最大熵权值算法在文本分类中的应用.pdfVIP

第39卷 第 6期 计 算 机 科 学 Vo1．39No．6 2012年 6月 Computer Science June2012 改进的最大熵权值算法在文本分类中的应用 李学相 (郑州大学软件技术学院 郑州450002) 摘 要 由于传统算法存在着特征词不明确、分类结果有重叠、工作效率低的缺陷，为了解决上述问题，提 出了一种改 进的最大熵文本分类方法。最大熵模型可以综合观察到的各种相关或不相关的概率知识，对许多问题的处理都可以 达到较好的结果。提 出的方法充分结合了均值聚类和最大熵值算法的优点，算法首先以香农熵作为最大熵模型中的 目标函数，简化分类器的表达形式，然后采用均值聚类算法对最优特征进行分类。经过实验论证 ，所提 出的新算法能 够在较短的时间内获得分类后得到的特征集，大大缩短了工作的时间，同时提高了工作的效率。 关键词 文本分类，最大熵算法，均值聚类，特征选择 中图法分类号 TP391 文献标识码 A ResearchofTextCategorizationBasedonImprovedMaximum EntropyAlgorithm LIXue-xiang (Schoo1ofSoftwareTechnology，ZhengzhouUniversity，Zhengzhou450002，China) Abstract ThispaperdiscussedtheproblemsintextcategorizationaccuracN Intraditionaltextclassificationalgorithm， differentfeaturewordshavethesameaffecteonclassificationresult，andclassificationaccuracyislower，causingthein— creasealgoritmh timecomplexity．Becausethemaximum entropymodelcan integratedvariousrelevantorirrelevant probabilityknowledgeobserved，theprocessingofmany issuescanachievebetterresults．Inordertosolvetheabove problems，thispaperproposedanimprovedmaximum entropytextclassification，whichfullycombinesc-meanandma xi— mum entropyalgorithm advna tages．Thealgoritmh firstlytakesshannonentropyasmaximmu entropymodeloftheob— jectivefunction，simplifiesclassifierexpressionform，andthenusesc-meanalgoritmh toclassifytheoptimalfeature．The simulationresultsshow thattheproposedmethodcanquicklygettheoptima lclassificationfeaturesubsets，greatlyim- provetextclassificationaccuracy，comparedwiththetraditiona1textclassification． Keywords Textclassification，Maximmu entropyalgoritmh ，C-mean，Featureselection 大熵值算法的优点，首先以香农熵作为最大熵模型中的目标 1 引言