2004文本分类评测大纲-自然语言处理.doc

2004年度文本分类评测大纲 一、评测对象 本次评测的对象是文本分类系统中的核心技术。 二、评测内容 本次评测主要评测文本分类系统对文本进行分类的准确性和全面性。 三、评测方法 1.评测方式 本次评测为现场测试，采取自动评测的方式进行。训练语料将提前1个月公布。 2.评测步骤 在评测单位统一提供的评测环境上安装被测系统； 评测单位给出若干篇测试文章； 被测单位运行文本分类系统，并将输出的分类交给评测单位； 评测单位事后组织专家进行评测，并公布评测结果。 3.评测标准 （1）分类标准 本次评测的分类标准采用《中国图书馆图书分类法》（第四版），具体方案请参见附录。由于“T 工业技术”和“Z 综合性图书”这两类难以判定，因此不予考虑，故实际总的分类数为36类。 此次评测规定对每个给定的测试文本最多产生两个结果类别，结果按照相关性的大小，由大到小进行排列；准确率、召回率以及F1值以及它们的宏平均值和微平均值均仅针对于分类结果中的第一个结果。 （2）量化指标 第j类的准确率（Pj）：准确率是所有输入系统进行分类处理的文本中与专家分类结果完全吻合的文本所占的比率，其数学公式表示如下： 其中 lj 为第j类分类正确的文本数，而 mj 为分类系统实际分类为j的文本数。 第j类的召回率（Rj）：召回率是应有文本中分类系统分类正确的文本所占的比率，其数学公式表示如下： 其中 lj 为第j类分类正确的文本数，而 nj 为专家分类为j的文本数。 第j类的F1值（F1j）：也称之为综合分类率，其数学公式如下： 其中Pj为第j类的准确率，Rj为第j类的召回率。 宏平均准确率 其中Pj为第j类的准确率，n为专家分类的总数。 宏平均召回率 其中Rj为第j类的召回率，n为专家分类的总数。 宏平均F1值 其中MacroP为宏平均准确率，MacroR为宏平均召回率。 微平均准确率 其中lj 为第j类分类正确的文本数，mj 为分类系统实际分类为j的文本数，n为专家分类的总数。 微平均召回率 其中 lj 为第j类分类正确的文本数， nj 为专家分类为j的文本数，n为专家分类的总数。 微平均F1值 其中MicroP为微平均准确率，MicroR为微平均召回率。 分类器综合得分（Score） 专家分类 分类器分类 Scorej A A 1 A,X 0.75 X,A 0.5 X 0 X,Y 0 A,B A,B 1 A,X 0.75 A 0.75 B,A 0.75 B,X 0.5 B 0.5 X,A 0.5 X,B 0.3 X,Y 0 X 0 其中，A代表专家分类的第一个类，B代表专家分类的第二个类，X、Y代表分类器产生的错误分类。 分类器的综合得分，其中n为评测文件总数。 （3）评判依据 文本分类系统的最终评判由宏平均F1值、微平均F1值和分类器综合得分得出。系统完成分类所用时间也作为参考指标。 4.输入输出文件格式 输入输出文件都以XML格式给出。 (1) 输入文件格式 ATC type = “文本分类文件列表” doc id = “1”dir1/file1.txt/doc doc id = “2”dir1/file2.txt/doc doc id = “3”dir2/file3.txt/doc …… doc id = “n”dirm/filen.txt/doc /ATC 其中每个doc对应一篇文章。 (2) 输出文件格式 ATC type = “文本分类结果列表” result id = “1” class id = “1”G 文化、科学、教育、体育/class class id = “2”R 医药、卫生/class /result result id = “2” class id = “1”TP 自动化技术、计算技术/class /result …… result id = “n” class id = “1”X 环境科学、劳动保护科学（安全科学）/class /result /ATC 注意： 输出文件中的类别中的汉字主要是为了方便人工校对，自动评测程序进行评测时，以英文类别名为准。例：class id = “1”G 文化、科学、教育、体育/class，则自动评测程序仅提取“G”作为类别，“文化、科学、教育、体育”作为参考。 无论输入文件还是输出文件中，“=”的两旁都必须各有一个空格。 无论输入文件还是输出文件中，引号均为半角。 四、评测环境 本次评测环境包括：操作系统为Windows2000，硬件配置不低于：P4 1GHz，256M内存，40G IDE硬盘。 ?附录 中国图书馆图书分类法简表 A 马列主义、毛泽东