一个基于最大熵模型文本分类方法.pdfVIP

一个基于最大熵模型的文本分类方法 李军辉朱巧明 李培峰 苏州大学计算机科学与技术学院，苏州215006 摘要： 本文提出了一种应用最大熵模型进行中文文本分类的方法，该方法重点在于特征函数的构建 和文本的预处理这两个方面．本文把文档的预处理分为网页去标记、分词、去虚词和去停用词四个步 骤，从而使得特征项的提取更加合理。另外，本文提出了一种基于特征模板的方法，并将其与特征项 的权重相结合的特征函数构建方法，提高了分类器的分类精度。实验结果发现，基于特征模板和权重 相结合的最大熵模型的微平均准确率达到96．67％，分类效果要好于基于词频的最大熵模型。 关键词： 文本分类：最大熵模型；文本预处理；特征模板；特征函数 achtoChineseText Appro BasedonMaximumModel Entropy Junhui Li Li Zhu QiaomingPeifeng Schoolof and Science 215006 Computer University,Suzhou Technology,Suzhou Abstract：Inthis We anew modelto papeG to ME Chinesetext proposeapproachapply categorization， itsmain and include feature functionsand documents．Eachdocument points constituting pre·disposing is four html wordsand undergone steps，namelyremovingtags，word segmentation，filteringempty removing ordertomakethefeatureitemsmore words，in reasonable．In is stop brought addition，feature·template is with combinedfeatureitem’S while feature functions．Theresults forward，which weight constituting of showthatthe withMEmodelbased the combination experiment