基于层次隐马尔可夫模型的汉语词法分析和命名实体识别技术-计算机应用专业论文.docxVIP

攮十层次隐马尔日，火模型的汉语涮法分析和命名实体以刺技术基于层次隐马尔可夫模型的 攮十层次隐马尔日，火模型的汉语涮法分析和命名实体以刺技术 基于层次隐马尔可夫模型的 汉语词法分析和命名实体识别技术 摘要 本文提出了一种基于层次隐马尔可夫模型的汉语词法分析方法，旨 在将汉语分词、词性标注、切分排歧和命名实体识别集成到一个完整 的理论框架中。在分词方面，采取的是基于类的隐马尔可夫模型，在 这层隐马尔可夫模型中，命名实体和词典中收录的普通词一样处理。 命名实体识别引入了兔色HMM=Viterbi算法标注出全局最优的角色序 列，然后在角色序列的基础上，识别出命名实体，并计算出真实的可 信度。在切分排歧方面，采用一种基于N．最短路径的策略，即：在早 期阶段召回N个最佳结果作为候选集，目的是覆盖尽可能多的歧义字 段，最终的结果会在未登录词识别和词性标注之后，从N个最有潜力 的候选结果中选优得到。不同层面的实验表明，层次隐马模型的各个 层面对汉语词法分析都发挥了积极的作用。作者参与了基于层次隐马 尔可夫模型的汉语词法分析系统ICTCLAS的开发，该系统在2002年 的973专家组评测中获得第一名，在2003年汉语特别兴趣研究#t(the ACL Special Interest Group on Chinese Language Processing，SIGHAN)组 织的第一届国际汉语分词大赛中综合得分获得两项第一名、一项第二 名。这表明：ICTCLAS是目前最好的汉语词法分析系统之一，层次隐 马尔可夫模型能够解决好汉语词法问题。 霜趣舴着、导，醇同蘸 匆金文公布 坫f层次隐马尔町人模掣的汉语l刊法分析和命名实体识别技术关键词：汉语词法分析，分词，词性标注，命名实体识别，层次隐马模 坫f层次隐马尔町人模掣的汉语l刊法分析和命名实体识别技术 关键词：汉语词法分析，分词，词性标注，命名实体识别，层次隐马模 型，ICTCLAS 毕卜层次隐马尔町人模型的汉语训法分析和命名宴体识5jlj挫术CHINESE 毕卜层次隐马尔町人模型的汉语训法分析和命名宴体识5jlj挫术 CHINESE LEXICAL ANALYSIS AND NAMED ENTITY IDENTIFICATION USING HIERARCHICAL HIDDEN MARKOV MODEL ABSTRACT This thesis presents an approach for Chinese lexical analysis using hierarchical hidden Markov model(m-IMM)，which aims to incorporate Chinese word segmentation，Part-Of-Speech tagging，disambiguation and named entity identification into a!l integrated theoretical frame．A class‘based hidden Markov model ffIMMl is applied in word segmentation，and in this model unknown words are treated in the same way as common words listed in the lexicon．Named entity are recognized with reliability on roles sequence tagged using Viterbi algorithm in roles HMM．As for disambiguation，the author brings forth an n·shortest．path strategy that，in the early stage，reserves the top N segmentation results as candidates and covers more ambiguity．Various experiments show that each level in the HHMM contributes to Chinese lexical analysis．An HHMM-based system ICTCLAS was accomplished．The system not only ranked top in the official open evaluation，which was held by 973 project in 2002，but also achieved 2 first ranks and 1 secon