一种新的基于BMM和RMM分词方法的研究和实现.pdfVIP

一种新的基于BMM和RMM分词方法的研究与实现。) ARevisedBMMandRMM ofChineseAutomaticWords Algorithm Segmentation 赵伟路永刚吴琼 (长春工业大学计算机科学与工程学院长春130012) Abstract The ofMaxlmum Method(㈨)is“FirsttheMaximum principle Matching Matching Word-Length”．At ofMaximum method Method(MM)doesnotincarnatethe of“First present，however，the Matching Ptinciple theMaximum Soiriordertoincarnatewell。arevisedBMMandRMM of Matching Word_hngth”well AIgorithm Chineseautomaticwords is its isalso segmentationputfonvard，andalgorithm given． maxirD．Ilnl Maximum method，Bound method，Re％-ersemaximum method， Keywords malching matching matching First tilemaximum matching word-length 部范同进行最大匹配，即每次最大匹配的范围都是 1引言 建立在最先几个或最后几个汉字串，这样并没能充 汉语自动分词是汉语信息处理的前提，是中文 分体现“长词优先”的原则。因此，本文在原有 自然语言理解、机器翻译中最基本的一步，也是目前 BMM法和RMM法的基础上做了改进，使之能在 中文信息处理中的难点之一。汉语自动分词已被研 整个句子范围内寻找最长词，充分体现“长词优先” 究了二十多年，在这期间所提出的自动分词方法有 的原则，从而减少错误切分句子的数量，进一步提高 二十多种口]。这些分词方法概括起来可分为以下两 分词的精度。 大类：一类是基于词典和统计相结合的机械分词方 2分词词典的设计 法¨~9]，一类是基于规则的专家系统的分词方 法q15]。不管是哪类分词方法都会有错误的切分， 本文所设计的汉语自动分词算法是基于词典的 如果在词语切分当中所运用的切分算法较好的话， 分词方法。分词词典是汉语自动分词系统的一个基 错误切分的句子数量将会大大减少，再采用相应的 本组成部分，自动分词系统的各类信息都要从分词 消歧策略进行消歧，就会进一步提高分词的精度。 词典中获取。基于词典的分词作为分词技术的主 基于第一类中的机械分词方法，其优点是易于 流，其分词精度依赖于词典的精度和歧义的有效切 实现，缺点是精度不高；而基于第二类中的规则方 分，而分词速度则取决于所设计的词典结构。在对 法，其优点是词语切分精度较高，缺点是不易于实 汉字编码体系和本文所设计算法要求的基础上