对分词系统性能的粗略考察走向Web课件.pptVIP

汉语自动分词—中文信息处理的一项战略任务孙茂松清华大学智能技术与系统国家重点实验室2004年7月复旦大学

一个老生常谈、老掉牙的问题？最简单的语言计算任务，最有可能实用，同时市场呼声最高。近几年已经取得了长足进步：以北大《人民日报》语料库（或类似语料库）为训练集。

例：ImpactonText-to-SpeechConversionBellLabsMandarinText-to-SpeechSynthesisSegmentationAmbiguity:项目的项目/的:de项/目的:diproject/ofclassifier/objective我是这个项目的负责人。Iamtheleaderofthisproject.他将向英王陛下政府提出与上述各项目的相配合的任何政策。HewillproposetotheBritishgovernmentanypolicytomeettheaboveobjectives.

例：ImpactonText-to-SpeechConversionBellLabsMandarinText-to-SpeechSynthesis我的老板查建泰不同意他弟弟查建国先生的看法。ZhaZha(Cha)MybossZhaJian-Taididnotagreetotheopinionofhisyoungerbrother,MrZhaJian-Guo.华国锋曾任中华人民共和国国务院总理。Hua4Ceng(Zeng)Hua1HuaGuo-FengistheformerpremierofthePeople’sRepublicofChina.

ICTCLASOutput我是这个项目的负责人。我/r是/v这个/r项目/n的/u负责人/n。/w他将向英王陛下政府提出与上述各项目的相配合的任何政策。他/r将/d向/p英/j王/n陛下/n政府/n提出/v与/p上述/b各/r项目/n的/u相/d配合/v的/u任何/r政策/n。/w

ICTCLASOutput我的老板查建泰不同意他弟弟查建国先生的看法。我/r的/u老板/n查建泰/nr不/d同意/v他/r弟弟/n查建国/nr先生/n的/u看法/n。/w华国锋曾任中华人民共和国国务院总理。华/nr国锋/nr曾/d任/v中华人民共和国/ns国务院/nt总理/n。/w

例：ImpactonMT:ChinesetoEnglishMT我看见邓小平同江泽民打招呼。Transtar:IseethatDengXiao-PinggreetswithJiangZe-Min.我看见周星驰同张学友打招呼。Transtar:IseeweekstarChiopentogetherstudyfriendgreet.

从中文搜索引擎反映出来的分词问题

从中文搜索引擎反映出来的分词问题

从图象搜索引擎反映出来的分词问题

从图象搜索引擎反映出来的分词问题

从图象搜索引擎反映出来的分词问题

走向Web:对分词系统性能的粗略考察豫园是著名的江南古典园林，全国重点文物保护单位。豫园始建于明嘉靖年间，有明代四川布政使潘允端所建，至今已有400多年的历史。1853年上海小刀会起义时，豫园点春堂曾作为起义军的城北指挥部，现堂内陈列着当年小刀会的武器、自铸的钱币，以及发布的文告等文物。解放后政府对豫园进行了大规模的修缮，1961年正式对外开放。1987年重建东部，恢复百余年前故景风姿，新旧诸景相映互彰，融为一体，古园更臻完美，实为游乐观瞻之极佳去处。现占地30余亩，全园擅江南园林之胜，有萃秀堂、仰山堂、三穗堂、玉华堂、点春堂、万花楼、会景楼、快楼、鱼乐榭、大假山等40多处胜景。其中点春堂为1853年上海小刀会起义的指挥部。“玉华堂”前的“玉玲珑”假山石是与苏州留园的“瑞云峰”、杭州花圃的“皱云峰”齐名的江南园林三大奇石之一。豫园新开设了一个藏有千奇石雕的展馆——石头城，其观赏价值和人文价值受到中外游客的青睐。该馆规模之大，奇石之多，为世人罕见。

走向Web:对分词系统性能的粗略考察

走向Web:对分词系统性能的粗略考察专名识别出错最多：点/t春堂/nr、快/a楼/n、玉/n玲珑/an、皱/v云/vg峰/ng、奇石/nr、……通用词表不够完善：布/n政/ng使/v、小刀/n会/v组合歧义：三大/j交集歧义：假山/n石/ng词性标注：自/p/v的/u/n构词联想能力差：故/dg景/vg，古/tg园/ng

走向Web:对分词系统性能的粗略考察金茂大厦