SIGHAN分词评测及新分词系统介绍.pptVIP

SIGHAN分词评测及新分词系统介绍 张会鹏 2005.6.12 Outline SIGHAN分词评测简介 新分词系统简介 新分词系统所采用的方法 新分词系统目前开发进度 下个月计划 Outline SIGHAN分词评测简介 新分词系统简介 新分词系统所采用的方法 新分词系统目前开发进度 下个月计划 First International Chinese Word Segmentation Bakeoff 2003年，日本札幌 共19家单位报名，最后有12家单位有结果 分为开放测试和封闭测试 评测标准包括：精确率(P)，召回率(R)，F值，未登录词召回率(Roov)，词表词召回率(Riv)。 First International Chinese Word Segmentation Bakeoff （cont.） 评测语料来源 The Academia Sinica (Taiwan) treebank (Taiwan Big Five encoding). The Beijing University Institute of Computational Linguistics Corpus (GB encoding). The Penn Chinese treebank (GB encoding). Hong Kong City University corpus (HK Big Five encoding). First International Chinese Word Segmentation Bakeoff（cont.） 比赛结果（简体） 最好的两个系统：中科院，微软 中科院：两项第一，一项第二 微软：一项第一，两项第二 Second International Chinese Word Segmentation Bakeoff Time Table： 2005-06-01 Registration Open 2005-06-29 Training data made available 2005-07-27 Testing data made available 2005-07-29 Test results sent back to organizers 2005-08-05 Results privately reported to participants 2005-08-19 Final reports due from participants Second International Chinese Word Segmentation Bakeoff（cont.） 评测语料库来源 CKIP, Academia Sinica, Taiwan City University of Hong Kong, Hong Kong SAR CIS Department, University of Pennsylvania, United States Beijing University, China Microsoft Research, China Second International Chinese Word Segmentation Bakeoff（cont.） registration is opened on 1 June 2005 /bakeoff2005 We have registered. information on registering for particular bakeoff tracks and other important information about the evaluation are due in the coming weeks Outline SIGHAN分词评测简介 新分词系统简介 新分词系统所采用的方法 新分词系统目前开发进度 下个月计划 Motivation 参加SIGHAN分词评测 方法需要改进 实验室对分词的各种特性：可配置，可移植，多线程，性能以及速度等要求越来越高。 新分词系统简介 启动时间：4月8日 名称定为IRLAS（信息检索研究室词法分析系统） 4月28日完成第一个系统设计方案 5月6日形成分词系统设计方案1.0 5月初开始编码－6月12日上午 新分词系统的目标 更高的性能 更快的速度 更好的健壮性（可接收大数据量文本） 最大程度的可配置 可移植（Windows/Linux） 支持多线程 更好的设计：类之间耦合降到最低，易于扩展，代码可读性好，便于接手。 更完备的文档 在今年SIGHAN分词评测中取得好成绩? 新分词系统基本结构 分为几大模块：粗分，时间数词识别，人名（包括外国