基于层叠隐马模型的汉语词法.pdfVIP

第41卷第8期 计算机研究与发展 V01．41．No．8 2004年8月 OFCOMPUTERRESEARCHANDDEVELOPMENTAug．2004 JOURNAL 基于层叠隐马模型的汉语词法分析 刘 群1’3 张华平1’2俞鸿魁1程学旗1 1(中国科学院计算技术研究所北京100080) 2(中国科学院研究生院北京100039) 3(北京大学计算语言学研究所北京100871) (1iuqun@ict．ac．cn) 摘要提出了一种基于层叠隐马模型的汉语词法分析方法，旨在将汉语分词、词性标注、切分排歧和未登录词识别集 成到一个完整的理论框架中．在分词方面，采取的是基于类的隐马模型，在这层隐马模型中，未登录词和词典中收录的普 通词一样处理．未登录词识别引入了角色m心，I：Viterbi算法标注出全局最优的角色序列，然后在角色序列的基础上，识 别出未登录词，并计算出真实的可信度．在切分排歧方面，提出了一种基于N一最短路径的策略，即：在早期阶段召回N 个最佳结果作为候选集，目的是覆盖尽可能多的歧义字段，最终的结果会在未登录词识别和词性标注之后，从N个最有 潜力的候选结果中选优得到．不同层面的实验表明，层叠隐马模型的各个层面对汉语词法分析都发挥了积极的作用．实 Interest onChineSe 年汉语特别兴趣研究组(舰SpecialGroup L釉guage 词大赛中综合得分获得两项第1名、一项第2名．这表明：I叮吣是目前最好的汉语词法分析系统之一，层叠隐马模 型能够解决好汉语词法问题． 关键词 汉语词法分析；分词；词性标注；未登录词识别；层叠隐马模型；ICTCL峪 中图法分类号TP391．1；TP391．2 ChineseLexical CascadedHiddenMarkovModel AnalysisUsing CHENG LIUQunl一，ZHANG Xue—Qil’ Hua-Pin91一，YUH。ng—Kuil，and 0厂Sc妇嬲，＆巧i馏100080) 1(砌5￡if“把0，C9打2却￡i孵T碱哟，吼i咒跚A砌y 2(Gr刎眦据矗蒯矿珈g吼i竹聊A砌y盯Sf如嬲，聊i昭100039) 3(hs蹴妣?矿D，胛伽缸痂撇ZLi馏甜垃扔，P趺i曙Lki御百咖，删i馏100871) AbstractThis an fbrChinese1exical cascadedhiddenMarkavmodel paperpresentsapproach analysisusing aimsto ChineSeⅥrord (C卜MM)，which in∞rporate segmentation，part—of—speech words intoan theOreticalfraHle．Aclass-basedHMMis inword andunknown recognitionintegrated applied inthis wordsaretreatedintheSarIle as∞rnmonwordslistedin model，unknown way Segmentation，and thelexicon．Unknownwordsare with onroles Viterbi re∞gnizedreliability sequencetaggedusing inrOlesHM