2004年度文本分类评测大纲.doc

2004年度文本分类评测大纲 一、评测对象 本次评测的对象是文本分类系统中的核心技术。 二、评测内容 本次评测主要评测文本分类系统。 1.评测方式 本次评测为现场测试，采取自动评测的方式进行。训练语料将提前1个月公布。 2.评测步骤 在评测单位统一提供的评测环境上安装被测系统； 评测单位给出若干篇测试文章； 被测单位运行文本分类系统，并将输出的分类交给评测单位； 评测单位事后组织专家进行评测，并公布评测结果。 3.评测标准 （1）分类标准 本次评测的分类标准采用《中国图书馆图书分类法》（第四版），具体方案请参见附录。由于“T 工业技术”和“Z 综合性图书”这两类难以判定，因此不予考虑，故实际总的分类数为36类。 此次评测规定对每个给定的测试文本最多产生两个结果类别，结果按照相关性的大小，由大到小进行排列；准确率、召回率以及F1值以及它们的宏平均值和微平均值均仅针对于分类结果中的第一个结果。 （2）量化指标 第j类的准确率（Pj）：准确率是所有输入系统进行分类处理的文本中与专家分类结果完全吻合的文本所占的比率，其数学公式表示如下： 其中 lj 为第j类分类正确的文本数，而 mj 为分类系统实际分类为j的文本数。 j类的召回率（Rj）：召回率是应有文本中分类系统分类正确的文本所占的比率，其数学公式表示如下： 其中 lj 为第j类分类正确的文本数，而