改进的HMM应用于哈萨克语词性标注.pdfVIP

ComputerEngineeringandApplications计算机工程与应用 2010，46(36) 147 改进的HMM应用于哈萨克语词性标注 侯呈风，古丽拉 ·阿东别克 HOU Cheng—feng，Gulila·Altenbek 新疆大学 信息科学与工程学院，乌鲁木齐 830046 CollegeofInformationScienceandEngineering，XinjiangUniversity，Urumqi830046，China E—mail：jyhouchengfeng@126．corn HOU Cheng-feng．Gulila·Altenbek．Improved hidden M arkov models used in Kazakh part—o~speech tagging．Computer EngineeringandApplications．2010．46(36)：147-149． Abstract：Part-of-Speech(POS)tagging ofKazakh isplaying a key role in naturallanguageinform~ionprocessing．Kazakh POS tagging isthe basisofsyntactic analysis，inform~ion retrievaland machine translation．Based upon thetraditionalHMM ， computing ofHMM parameters，data—smoothing andprocess ofwordswhich are notlogged enable to improvecontextdepen— dence relationship．Use statisticalmethod to train Kazakh corpus，and then use Viterbialgorithm to implementPOS tagging． The experimentalresultsshow thatthe effectofPOS tagging ofimproved HMM isbetterthan traditionalHMM ． Keywords：HiddenMarkovModels(HMM)；Kazakh；part—o~speechtagging 摘 要 ：哈萨克语的词性标注在 自然语言信息处理领域中扮演着重要角色，是句法分析、信息抽取、机器翻译等 自然语言处理的 基础。在传统的HMM 的基础上改进了HMM模型参数的计算、数据平滑以及未登录词的处理方法，使之更好地体现词语的上下 文依赖关系。利用基于统计的方法对哈萨克语熟语料进行训练，然后用Viterbi算法实现词性标注。实验结果表明利用改进的 HMM 进行词性标注的效果 比传统的HMM 好。 关键词：隐马尔科夫模型；哈萨克语；词性标注 DOI：1O．3778~．issn．1002．8331．201O．36．040 文章编号：1002．833l(2010)36．0147．03 文献标识码：A 中图分类号 ：TP391．1 1 前言 支，拼音文字，是黏着语类型；具有 自己独特的特点 ，不同于汉 在 自然语言中，词是语言的基本单位，是组成各种语言的 语 、英语 、维吾尔语等。目前哈萨克语的词性标注基本上采用 基础 。在词的处理过程中，词性 (POS)是词汇最重要 的特 基于规则和统计的方法 ，辅助以人工标注。本文对传统的隐 性。词性标注是实现 自然语言分析和理解的一个重要 中间环 马尔科夫模型进行了改进 ，使其能更好地体现词语的上下文 节，其任务是为文本中的每一个词标注一个正确的标记。在 依赖关系。 词性标注中出现的早期错误，将在后续处理链中被放大。例 如在机器翻译中，词性标注错误有时会导致错误地理解整句 2 HMM 的原理及词性标注 话。词性标注的正确率将直接影响计算机翻译系统的应用性 2．1 HMM 原理 能，从而最终影响用户对机器处理自然语言的应用，如信息抽 HMM(HiddenMarkovModel，隐