摘 要：本文利用隐马尔可夫模型( Hidden Markov Model,简称.pdfVIP

* 基于隐马尔可夫模型和候选排序的汉语基本名词短语识别 马艳军 刘 颖 清华大学中文系计算语言学研究室 北京 100084 E-mail: yj-ma03@mails.tsinghua.edu.cn yingliu@mail.tsinghua.edu.cn 摘 要：本文利用隐马尔可夫模型（Hidden Markov Model ，简称 HMM ），并利用 A*启发式搜索算法得出 N-Best 最优路径作为汉语基本名词短语标注的候选集。利用边界匹配和基本名词短语模板对候选集进行过滤，并利 用基本名词短语模板的可信度信息对候选集进行重新排序，取得了不错的标注效果。本文的实验模型有较强 的鲁棒性和可扩展性，能够通过不断添加不同领域的知识来提高性能。 关键词：汉语基本名词短语，隐马尔可夫模型，基本名词短语模板，短语模板的可信度，过滤规则 Base Noun Phrase Identification Based on HMM and Candidates Sorting by Weighted Templates Ma Yanjun Liu Ying Computational Linguistics Laboratory, Department of Chinese Language and Literature, Tsinghua University, Beijing, 100084 E-mail: yj-ma03@mails.tsinghua.edu.cn yingliu@mail.tsinghua.edu.cn Abstract: This paper uses HMM approach and heuristic decoder to get candidates of Chinese base noun phrase tagging. We filter the noisy candidates by applying boundary match rule and phrase template match rule. Furthermore, the candidates are sorted according to the reliability of the base noun phrase templates they matched. This is a robust model. The performance is expected to be further improved by adding new features. Key words: Chinese base noun phrase; HMM; base noun phrase template; the reliability of phrase template; filter rules 1 引言 基本名词短语是自然语言的重要结构单位，也是信息传递的基本单位。在自然语言处理 领域，基本名词短语的识别和分析是自然语言浅层句法分析的重要任务之一，其分析结果可 以简化句子的结构，从而降低句法分析的复杂度；同时，基本名词短语的识别对于信息检索、 * 清华大学亚洲研究中心 2005 年度青年项目。 自动问答和机器翻译等都有重要的意义。 自然语言学习国际会议（CoNLL-2000 ）提出了语块共享任务，定义了英语中 11 种基本 语块：NP ，VP ，ADJP ，ADVP ，PP ，SBAR，CONJP，PRT ，INTJ ，LST ，UCP[4] 。语块的特 点是语块之间不相交而且无嵌套[1]，即句子中