字本位与中文信息处理.docVIP

字本位与中文信息处理 ——解析“字与字组的关系”探索“汉语形式化”新路 （典型实例：由“一字精解”到“字字精解”） 邹晓辉 0756-5505041 qhkjy@ 清华科技园（珠海）融智文化基因工程研究所（筹） 519125 珠海市斗门区井岸桥东恒美花园15-2栋201号 【摘要】本文是笔者探索汉语及中文形式化信息处理新方法的总结。英语和基于英语的形式化方法及其好处学界周知，转换生成语法及其后续的各派理论的发展早已为计算机科学和计算语言学普遍接受或了解。模仿它们的汉语词本位、短语本位和句本位理论违背了汉语的特点。因为“汉语中没有词”（赵元任）。“这种跟着西方人思路转的研究是无法实现赶超国际水平的目标的”（徐通锵）。英语形式化方法突破不了中文信息处理的技术瓶颈。如：词的“切分”与“标注”就面临“消歧”难题（俞士汶、孙茂松、黄河燕等）。本项研究课题“摆脱了流行思路的束缚，以字本位理论为基础研究中文信息处理的问题，探索形式化新路。这抓住了汉语特点的关键”（徐通锵），因为“字是中国人心目中的中心主题”（赵元任）。 【关键词】基础语言学，字本位，计算语言学，形式化，计算机辅助，中文信息处理 【专家评语】 “这是一个前沿性的课题。现在语言信息处理的思路大多受国外语言理论的影响，而如何根据汉语的特点，运用信息科学的技术，进行中文信息处理，赶超国际水平，是我们急需探索和解决的一个重大课题。”（本文的）“方向正确，思路清楚，立论有据，是有原创性的新著，其形式化的研究成果也具有广泛的使用价值”。（语言学专家：徐通锵） “《字本位与中文信息处理的基础——解析“字与字组的关系”探索“汉语形式化”新路》是作者经过长期深入研究和在计算机上通过实践检验的重大科研成果。这个成果的理论意义和实用价值在于：根据汉语的实际特点，运用信息科学先进技术从事中文信息处理，赶超国际水平。”（计算语言学专家：鲁川） “它较好地实现了与国际学术研究的接轨，因而处于国内同类课题研究的先进水平；作者倡导的融智学新范式和协同智能概念体系，不仅对于我国语言科学和信息科学及其相关学科的研究具有重要的学术探索价值，而且对于建立面向多文种语言信息处理的计算语言数据库和开发拥有自主知识产权的信息产品具有广泛的实际应用价值。”（机器翻译专家：易绵竹） “语言的形成是一个十分复杂的过程，语言所表达的语义的解析更是一个复杂的问题。本书作者通过对中文语言文字的长期研究，积累了丰富的知识，提出了许多有见地的观点。本文提出了以字为中心，从字出发分析中文语义的一种新的方法。这些思想对于中文信息的自动化处理都提供了一种新的途径。”（计算机科学专家：奚建清） “（本文）内容新颖，有较高学术水平，…。消解歧义是自然语言处理的关键，本（文）提出的理论和方法，可以对于这个问题的解决提供新的思路。”（自然语言处理专家：冯志伟） “协同智能计算语言数据库的设计方案中的13张表很有新意。如果对于汉语的这13张表一旦建立了起来，那么汉语分析中的各个层次上的歧义就会比较容易地解决。这是一件有创建性的工作。”（清华大学智能技术与系统国家重点实验室专家：苑春法） 引言 长期以来，我们一直缺乏适合汉语及中文自身特点的系统化的语法理论，这严重地制约了中文信息处理的研究进展。《语言论——语义型语言的结构原理和研究方法》（1997徐通锵）和《基础语言学教程》（2001徐通锵）独树一帜建立了汉语“字本位”理论。本文在此基础之上做了进一步的基础性研究，在尝试对字与字组及其各种关系进行形式化描述的同时，也尝试对汉语及中文信息处理的形式化方法进行大胆创新。 由本文的标题和副标题可知，“字与字组的关系”的探讨是汉语“字本位”理论关注的基础性问题（属于基础语言学领域）；“汉语形式化”是中文信息处理实践面临的根本性问题（属于计算语言学领域）。两方面结合导致本论题。本文的缘起：北大中文系语言学专家对字的认识分歧（至今尚未达成普遍一致的共识）。试问：作为自然人的专家尚且无法消除的分歧，怎么让计算机系统去重用？这类性质的难题也是主张强人工智能观点的中文信息处理专家们所面临的棘手问题。如，中科院计算机语言工程研究中心机译专家就说：对机器翻译而言，只有一个难题，就是消歧。清华大学计算机系自然语言处理课题组专家也明确地指出汉语在“分词”与“标注”上存在技术瓶颈。北大计算语言学研究所专家还十分明确地指出（汉语及中文的）形式化非常困难。中国社科院语言学研究所机译专家公开指出语言学理论滞后制约了中文信息处理技术的发展。 同样研究自然语言，不同的学科有不同的视角，普通语言学站在人类智能主体的立场，采用的是自然人的视角；计算语言学站在人工智能代理的立场，采用的是计算机的视角；工程融智学站在协同智能计算系统的立场，采用的是自然人和计算机两者交互协同的视角。本文就是对从（