ICTCLAS的性能评估.docVIP

ICTCLAS的性能评估 ICTCLAS在973评测中的测试结果 2002年7月6日，ICTCLAS参加了国家973英汉机器翻译第二阶段的开放评测，测试结果如下： 领域 词数 SEG TAG1 RTAG 体育 33,348 97.01% 86.77% 89.31% 国际 59,683 97.51% 88.55% 90.78% 文艺 20,524 96.40% 87.47% 90.59% 法制 14,668 98.44% 85.26% 86.59% 理论 55,225 98.12% 87.29% 88.91% 经济 24,765 97,80% 86.25% 88.16% 总计 208,213 97,58% 87.32% 89.42% 表3. ICTCLAS在973评测中的测试结果 说明： 数据来源：国家973英汉机器翻译第二阶段评测的评测总结报告 标注相对正确率RTAG=TAG1/SEG*100% 由于我们采取的词性标注集和973专家组的标注集有较大出入，所以词性标注的正确率不具可比性 专家组的开放评测结果表明：基于HHMM的ICTCLAS能实际的解决汉语词法分析问题，和兄弟单位的类似系统对比，ICTCLAS的分词结果表现出色 　 第一届国际分词大赛的评测结果 　　为了比较和评价不同方法和系统的性能，第四十一届国际计算语言联合会(41st Annual Meeting of the Association for Computational Linguistics, 41th ACL )下设的汉语特别兴趣研究组(the ACL Special Interest Group on Chinese Language Processing, SIGHAN；) 于2003年4月22日至25日举办了第一届国际汉语分词评测大赛(First International Chinese Word Segmentation Bakeoff)[28]。报名参赛的分别是来自于大陆、台湾、美国等6个国家和地区，共计19家研究机构，最终提交结果的是12家参赛队伍。 　　大赛采取大规模语料库测试，进行综合打分的方法，语料库和标准分别来自北京大学（简体版）、宾州树库（简体版）、香港城市大学（繁体版），台湾“中央院” （繁体版）。每家标准分两个任务(Track)：受限训练任务(Close Track)和非受限训练任务(Open Track)。 　　ICTCLAS分别参加了简体的所有四项任务，和繁体的受限训练任务。其中在宾州树库受限训练任务中综合得分0.881[28]，名列第一；北京大学受限训练任务中综合得分0.951[28]，名列第一；北京大学受限训练任务中综合得分0.953[28]，名列第二。值得注意的是，我们在短短的两天之内，采取ICTCLAS简体版的内核代码，将多层隐马模型推广到繁体分词当中，同样取得了0.938[28]的综合得分。 　 ICTCLAS3.0的评测结果 我们利用了《人民日报》1998年1月的新闻纯文本语料进行开放测试，ICTCLAS2011测试的精度与速度如下表所示： 　 开放测试一 开放测试二 开放测试三 功能描述 分词 分词+命名实体与新词识别 分词+命名实体与新词识别+词性标注 测试文件大小 4,092,478 Bytes 4,092,478 Bytes 4,092,478 Bytes 时间(s) 4.094000 6.467561 9.094001 核心数据所占内存 5.5MB 7.2MB 8.9MB 速度 999.63 KB/s 632.77 KB/s 450.02 KB/s 精度 分词精度：96.56% 分词精度：98.13% 分词精度：98.13% 词性标注精度：94.63% 说明： 1. 测试机器配置：CPU: PIV3.0G；内存：512M； 2. 分词精度指的是正确切分的词数占正确结果总词数的百分比；词性标注精度指的是切分与词性标注均正确的词数占正确结果总词数的百分比。 3. 开放测试：指的是测试样本不属于训练样本集合，否则称为封闭测试；封闭测试相当于考试试题都出自于学习过的书本，这种测试并没有实质意义，而往往有一些商家故意混淆视听，以封闭测试来冒充开放测试，制造准确率99.5%的噱头，实际上，通过机械记忆小样本的封闭测试取得100%的精度不存在任何问题。这一点特别提请用户注意。