汉语切分标注和句法分析一体化模型研究.pdfVIP

汉语切分标注和句法分析一体化模型研究 摘要 汉语切分标注和句法分析一体化模型研究 摘要 随着计算机技术的不断发展以及人们对人机界面的要求不断提 高 自然语言处理已经成为当今计算机科学中一个十分重要的分支学 科 汉语作为世界上使用人口最多的语言 也越来越受到国内外研究 人员的关注 汉语的分词 词性标注 切分标注 和句法分析是理解 汉语和处理汉语的基础 虽说国内外在这些领域已经有了不少研究成 果 但大部分都将它们作为三个独立的模块来研究 很少有一体化模 型的研究 本文的研究目标便是构造一个汉语分词 词性标注和句法分析的 一体化模型 该模型通过加强汉语切分标注和句法分析之间的联系 以增强其处理能力 由于考虑到汉语中的未登录词会极大地影响汉语 处理系统的性能 本模型同时考虑了未登录词的识别 此外 该模型 又保留了很好的可扩展性 为今后采取更复杂的消歧策略及未登录词 识别策略奠定了基础 一体化模型的建立分为以下几个步骤 首先 提出了一个汉语分 词和词性标注的一体化模型 该模型引入了词长信息作为新的统计特 征 在一定程度上改善了切分