文本分类性能评价教案.pdfVIP

第30卷　 第8期 情　 报　 杂　 志 Vol.30　 No.8 2011年8月 　 　 　 　 　 　 　 　 　 　 　 　 　 JOURNAL OF INTELLIGENCE　 　 　 　 　 　 　 　 　 　 　 　 　 Aug.　 2011 文本分类性能评价研究* 奉 国 和 (华南师范大学经济管理学院信息管理系　 广州　 510006) 摘　 要　 文本分类是信息处理的关键技术之一,分类性能评价是其重要组成部分。 论文研究了文本分类评价的影 响因素,并就评价中两个必需要素:标准数据集与评价指标进行了阐述分析。 指出只有建立规范的评价平台,构建 合理的评价指标,才能有效地对分类结果进行评价,才能更好地促进文本分类技术发展。 关键词　 文本分类　 标准数据集　 评价指标 中图分类号　 TP391　 　 　 　 　 文献标识码　 A　 　 　 　 　 　 文章编号　 1002-1965(2011)08-0066-05 Review of Performance Evaluation of Text Classification FENG Guohe (School of Economics Management,South China Normal University,Guangzhou　 510006) Abstract　 Text classification is one of the key technologies for information processing. The performance evaluation is one part of the whole textclassificationprocess. Thispaperanalyzesthefactorsofperformanceevaluationfortextclassificationandexpatiatesemphatical- lythestandarddatabaseandevaluationindexes. Undertheuniformstandardframeandrightevaluationindexes,theperformanceevaluation can be implemented effectively and the text classification technologiesdevelop fleetly. Key words　 text classification　 standard database　 evaluation index 　 　 文本分类在文本识别、搜索引擎、信息过滤、电子 均F 值、微平均F 值度量,其最大值分别为0．7396、1 1 政务、数字图书馆等方面有着深入的应用,已经成为现 [3] 0.7444;其最小值分别为0.4969、0.4619 。 可见对文 代信息处理的关键技术之一。 随着分类关键技术的不 本分类性能的评价工作伴随着分类技术的发展而不断 断改进,分类效果明显提高。 1979 年,V.Rijsbergen[1] 进行。 但我们也应该清楚认识到,各分类算法及相关 提出向量空间模型和评估标准如准确率、回召率,并成 技术的评测都不在统一测试平台上进行,互相之间不 为文本分类的重要模型。 1992 年,Lewis 系统介绍文 具有可比性,给文本分类研究的进一步发展带来不便。 本分类系统实现方法细节,并且在自建数据集 Reu- 为此需要建立一套客观公正的评价机制、评价平台,