蒙古语词法分析的有向图模型研究.docVIP

蒙古语词法分析的有向图模型 摘 要：我们为蒙古语词法分析建立了一种生成式的概率统计模型。该模型将蒙古语语句的词法分析结果描述为有向图结构，图中节点表示分析结果中的词干、词缀及其相应标注，而边则表示节点之间的转移或生成关系。特别地，在本工作中我们刻画了词干到词干转移概率、词缀到词缀转移概率、词干到词缀生成概率、相应的标注之间的三种转移或生成概率，以及词干或词缀到相应标注相互生成概率。以内蒙古大学开发的20万词规模的三级标注人工语料库为训练数据，该模型取得了词级切分正确率95.1%，词级联合切分与标注正确率93%的成绩。 关键词：蒙古语 词法分析 词语切分 词性标注 词干提取 有向图 Directed Graph Model for Mongolian Lexical Analysis Abstract: We propose a generative statistical model for Mongolian lexical analysis. This model describes the lexical analysis result as a directed graph, where the nodes represent the stems, affixes and their tags, while the edges represent the transition or generation relationships between nodes. Especially in this work, we adopt three kinds of transition or generation probabilities: a) probabilities of stem-stem transition, affix-affix transition and stem-affix generation; b) the transition or generation probabilities between the corresponding tags; and c) the generation probabilities between stems or affixes and their tags. Using the 3rd-level annotated corpus with about 200,000 words as the training data, this model achieves a word-level segmentation accuracy of 95.1%, and a word-level joint segmentation and tagging accuracy of 93%. Key words: Mongolian; Lexical Analysis; Segmentation; POS Tagging; Stemming; Directed Graph 1 引言 词法分析对汉语和许多民族语言来说，是大多数自然语言处理任务的基础。汉语的词形较为简单，当前的词法分析已经做到实际可用的水平[1, 2, 3, 4]，而对于形态复杂的民族语言如蒙古语和维吾尔语，词法分析的准确率仍有较大的提升空间[5, 6, 7, 8, 9, 10, 11]。在民族交流与融合需求日益迫切的现阶段，机器翻译技术的重要作用越发凸显。民族语言词法分析作为机器翻译的必备前提，需要得到研究者更多的关注。 与汉语的字符顺次拼接的构词方式相比，蒙古语和维吾尔语等形态丰富的语言构词规律更加复杂。这类语言的词语通常由词干和若干起修饰作用词缀组成树状结构，词法分析的任务就是解析出词语的词干和词缀构成，并且标定好它们的类别标注。这样一来，在汉语上效果良好的序列标注模型[12, 13, 14]在这里变得不太适用，而研究者往往直接借用这些现成的线性序列模型，同时将任务限定为粗切分或标注[7, 8, 9, 10]，这使得系统的理论价值和实用性大打折扣。另一方面，传统的基于规则的词法分析模式需要专门的语言学人才，往往耗费大量的精力调试搭建后，而准确率和稳定性又不尽人意。因此，我们有必要构造更为恰当的统计模型，以尽可能准确地描述形态丰富语言的构词规律，从而快速搭建高性能的词法分析系统。 我们为蒙古语词法分析建立了一种生成式的概率统计模型。该模型将蒙古语语句的词法分析结果描述为有向图结构，图中节点表示分析结果中的词干、词缀及其相应标注，而边则表示节点之间的转移或生成关系，它们刻画了词干、词缀及其相应标注连接成词的规律。生成式概率统计模型为这些转移或生成关系赋以合适的概率形式，词法分析的过程就是寻找其所有概率