2国家分词规范分析 - 苏州大学纵横汉字信息技术研究所.doc

试析中文分词国家规范 许顺 吕强 (苏州大学计算机科学与技术学院，江苏省计算机信息处理技术重点实验室，江苏 苏州 215006) 摘要：中文自动分词是计算机中文信息处理的基础难题，而分词标准又是中文自动分词的首要问题。中文分词规范提出了切分单位的概念，定义了中文信息处理的一系列分词规则。而目前的分词研究对分词规范的作用重视不够。本文首先强调了分词规范应该成为分词问题本身的标准描述。然后本文详细分析了中文分词国家分词规范的完备性和一致性，论述了相应的不够完善的地方。最后总结了应用国家分词规范的重要意义，提出分词规范还需要进一步研究。 关键词：中文分词规范 ， 中文自动分词 ， 完备性 ， 一致性 中图法分类号：TP391 Towards Chinese Word Segmentation Specification Xu Shun Lv Qiang (School of Computer Science and Technology, Suzhou University) ( Jiangsu Key Laboratory of Information Processing Technology) Suzhou, 215006, China Abstract: Chinese automatic segmentation is a fundamental hard problem in Chinese information processing (CIP). And segmentation standard is the principal problem in Chinese automatic segmentation. Chinese word segmentation specification has proposed the definition of segmentation unit and some rules for Chinese segmentation, while the current research has a little bit underestimated the importance of this specification. Firstly this paper emphasizes that the segmentation specification should be the only answer of the question what is the segmentation problem. Secondly this paper analyzes the completeness and consistency of the National Chinese Language Word Segmentation Specification for Information Processing, and points out the related flaw. Finally the authors summarize the importance of application of the segmentation specification, and strongly propose that the research on the segmentation specification should be investigated furthermore. Keywords: Chinese segmentation specification, automatic segmentation, completeness, consistency 1问题的提出 随着计算机技术日新月异的发展，中文信息处理的应用更加广泛，例如语音识别，信息检索，文本分类，自然语言的理解和机器翻译等。 而所有这些中文处理功能都要建立在对中文文本的分词处理这一基本功能之上。因而，分词是信息处理中的一项基础工程。解决汉语分词问题，意义重大，但困难重重，所以“分词问题成为当前中文信息处理的瓶颈” []。在分词的诸多问题中，最重要的问题是：分词的标准是什么？要让计算机做自动分词，首先必须要有一个分词词表，而制定这样一个词表需要有一个分词规范。要制定分词规范，就需要有判断词与非词的准。同时，对计算机分词结果的评价，也需要有一个判断的标准。863/973分词的评测，以及目前的Sighan的评测，都以人工的分词结果作为评测的标准，那么这个人工结果是否基于一个一致科学的标准？所以在汉语分词问题中，首先必须就汉语的分词标准取得共识[6]。GB13715)》（下文简称国家规范）[1]，《北京大学现代