汉语自动分词研究地若干最新进展——清华大学相关工作简介.pdfVIP

汉语自动分词研究的若干最新进展 一清华大学相关工作简介+ 孙茂松 清华大学智能技术与系统国家重点实验室 清华大学智能技术与系统国家重点实验室一直致力于汉语自动分词的研究。现将最近几年 在这方面的主要研究成果向大家扼要汇报一下．希望得到学者们的指正。 1．信息处理用现代汉语分词词表 代汉语分词规范》it]。这个规范对推动汉语自动分词研究的发展，起到了积极作用。然而，蝮 用者也普遍反映．该规范中多次出现了“结合紧密、使用稳定(频繁)”的表述，试图对某些介 乎“词”与“词组”之间的“分词单位”进行界定，但这个表述很模糊．难以操作．来自语言 学和计算语言学两个领域的专家们建议，应该摘出一个词表作为分词援范的补充，凡收进词：靛 的“分词单位”，认为就是“结合紧密、使用稳定(频繁)”，否刚不是．通过这种方式．将该规 范中存在的“灰色地带”明确地区分开来．此即为本项研究的基本考量。 本词表的目标是：制定一个面向信息处理的、具有较强通用性及覆盖能力钧现代汉语分词 词表121131。这个词表应该具有如下特征：(1)针对信息处理的基本需要．(2)以人为本。机器 归根到底是为人服务并且为人所用的．所以这个词袁既要向根据语言学理念建立起来的词表尽 量靠拢．同时又要与老百姓心目中“朦朦胧骁”但又确乎存在的“词表”尽量兼容。(3)必须 考虑词的常用性。 遵循的基本原则有三：(1)凡任一汉语语言学规则认可的词，只要满足常用性指标，均予 收录。语言学规则要用足、用够。【2)靠语言学规则界定不清的某些结构，只要常用．一般应 收录。主要涉及动宾、动补、定中、状中等结构．语言学的一般做法通常倾向于把它们视为短 语，我们则称之为“常用接续”。将“常用接续”收入词表的来法可从几个方面找到理据：汉 语语言学研究、语言使用豹世俗心理、信息编码理论的支持以及词表所具有的隐式构词知识库 的性质。(3)凡拆开后无助于机器分析甚至增加了机器分析的困难程度的成分，应从台．常用 的收入词表。如“国内外”“大中小学…外交部长”等。 整个词表分成普通词库、带字母词库、专名库、常用接续库、成语库、俗语库(以上均针 对多字词)以及单字词库等7个分库。普通词库只收严格意义上。普通词库、专名库、常用接 续库又各自‘F含基础和合成两个子类(图1．”。 词表的建设步骤为：(I)将目前比较有影响的十几部汉语词典台并去重后，得到一个含 计数据。这些数据最终表现为一个综合参数，为审校者提供量化参考。(3)审校者运用定性的 各类语言学规则并参照定量数据．对YWlni中的词逐条判断．我们把对YWlni的串频覆盖率达 一级常用诃表的主要候选。 ’本研究得到国家重点基础研究发展规划项目(课题编号：G1998030507)的资助 一20— 最后得到总词数为92843条的词表YW2001。其中一级常用词YW2001(1evelI)共56606 条， 2)共36237条。YW2001关于分库的分布见图1．2。 二级常用词YW2001(1evel 广基础类：自菜，杂交、游泳．立正．拥有、白兰地 ／ 普通诃库_ 合成类：杂交稻、白兰地蓿、总司夸、划叶代、打前站 f L 拿大顶、安乐死、帐房先生、积极分子．移动电话、 保蚪兢医．祖祖章辈，高高*兴．唆吹打打 带字母词库：Ic卡．x射线、三K觉 I 广 基础类：法国，北京、哈尼．法兰西，昆仑 专名库1 合成类：北京市，哈尼旗，昆仑山，昆仑山脉 。 词表 ，基础类：猪内、术梳、左耳、母猪．东门．白云、笛声、 J 集上，湖边，全国．吝厂、拉紧，穿上．再也、 ／ 说道、写有．测得．改为、尤为，一个．第一 、 常用接续库气 台成类：铁栅栏、运更高．包饺子．找工作、覆算外． 1 I 平起曦、组鲺上，再一次、找罪受．脏乱差、