层次化中文分类.pdfVIP

2∞4 生f- 11 Ji 通信学报 VoL25 No.ll 第 25 辛辛第 11 期 JOURNAL OF CHINA INSTITUTE OF COMMUNIC A:ηONS November2∞4 层次化中文文档分类 农时金，李荣陆，周水庚，胡远发 (主v交大学计算机与信息技术系，上海 2ω433) 摘 要:对层次化中文文档分类进行了研究。采用两种途径进行层次化中文文档分类:第…是按 照文档类别的层次结构，将…个大的分类问踊分化成若干个小的分类问题，用 Bayes 分类方法分 别建立分类器:第二是将层次化分类问题看成是一个更普遍的多类别、多标注分类问题进行求解， 分别利用 KNN 和基于 Boosting 的分类 jj~去进行层次化中文文梢分类。测试结果显示层次化分类 比平面分类能够取得更好的分类效果。 关键词:文档分类:属性选择:层次分类:分类器 中回分费号: TP391 文献标识码 :A 文章编号: 1 ∞。-436X(2∞4)11-0055-09 Hierarchical chinese document categorization YUANShi才 in ， LI Rong-lu, Z日OU Shui-geng, HU Yun-fa (Department of Computer Information and Technology, Fudan University, Shanghai 2∞433 ， China) Abstract: Hierarchical Chinese document categorization was researched. Two measures to classify documents hierarchically wer巳 taken. One was to use Bayes classifier according to the structure of document categories. Another was to use KNN c1assifier and cIassifier based on Boosting by dividing the large categories into the small ones. Experiment results show that hierarchical categorization does better than plane categorization. Key words: document categorization; features selection; hierarchical categorization; cIassifier 1 号|富 随着 World Wide Web 的迅猛发展，在线文档信息的迅速增加，文档分类成为处理和组织 大量文档数据的关键技术。所以，研究利用计算机进行自动文档分类成为自然语言处理和人工 智能领域中…项具有重要应用价值的课趣。现有的分类方法主要是基于统计理论和机器学习方 法的，比较著名的文柑分类方法有 Bayes[ll 、 KNN[21 、 LLSF[31 、 Nnet[4 1 、 Boosting[51及 SVM[61等。 在分类过程中，我们常常把文档类别看成是互不相交的，它们处在一个平面层次上。实 际上，现有的绝大多数文档分类系统也就是这样处理的。然而，文档概念类别之间存在着层 次关系，即…个大类往往包含许多小类，小类之下又有J!小的类。而且，~文档库特别庞大 时，人们往往也是按照概念层次结构对文档库中的文档进行管理。因此，按照层次结构对文 收稿日期: 2∞子 09-28; 修订