中文指代消解名词短语识别.docVIP

中文指代消解名词短语识别 　　摘 要：指代消解技术是自动文章的关键，介绍了指代消解的研究方式，分析了中文指代消解目前研究现状，并且详细阐述了语料库和所使用的此类标记，同时提出了名词短语识别和标记符号，分析了中文名词短语的确定与英文的不同，对中文指代消解的前期语料的处理和后期应用作了很好的介绍。 　　关键词：指代消解；规则；名词短语 　　中图分类号：TP391.1 　　1 研究的背景及意义 　　1.1 自动文摘技术 　　指代是自然语言处理领域的常见现象，广泛的存在于自然语言的各种表达中。对于简化表达，衔接上下文起着重要作用。在语言学中，指代也称照应，英文单词是Anaphora，所指的对象或内容称为先行语（Antecedent）。确定照应语所指的先行语的过程称为指代消解[1]（Anaphora Resolution）。指代消解是在一个篇幅内进行的。指代消解技术是信息抽取[2]IE（Information Extraction）评测的主要技术指标。伴随计算机技术在非数字化领域研究的兴起，指代消解被越来越多的应用在自动文摘，信息检索等领域。 　　2 中文指代消解基本知识 　　2.1 中文语料库的规范 　　中文指代消解所使用的语料库是由富士通研究开发中心和北京大学计算语言学研究所，根据人民日报1998年上半年的语料为对象，从1999年4月起制作出了最大的汉语标注语料库[3]。共有26个词类标记，包括：处所词s、名词n、时间词t、介词p、数词m、量词q、区别词b、词r、动词v、形容a、状态词z、副词d、连词c、助词u、方位词f、语气词y、叹词e、拟声词o、成语i、习用语l、简称j、前接成分h、后接成分k、语素g、非语素字x、标点符号w，并多加以下3类标记： 　　专有名词的分类标记即人名nr，地名ns，团体机关单位名称nt，其他专有名词nz； 　　语素的子类标记即名语素Ng，动语素Vg，形容语素Ag，时间语素Tg，副语素Dg等；动词和形容词的名词用法标记vn，an和副词用法标记vd，ad。合计约40个左右。抽取方法采用隐马尔可夫模型。 　　例如句子：“他去南京”根据单词出现的概率与词性和词性的连接概率，计算出所有切法的概率总值，概率值最大的为第一候选，这其中“他/r去/v南京/ns”的概率总值最大，是第一候选。 　　2.2 名词短语的识别 　　本文研究的主要内容是将代词替换为它所指代的照应词，所以在消解过程中需要对命名实体和代词进行标注， 　　根据本文特定的语料内容，只需要将源语料中动词（v）、含有动词意义的名词（vn）、名词（n）、时间词（t）和命名实体进行标注，所以利用ICTCLAS所标注出来的词性[4]和Perl编写的程序将分割文件中的代词和命名实体都标注成了“单词”的形式，例如名词“北京”就标记成为“北京”的形式存放于命名实体标记文件中。 　　在命名实体识别中，将命名实体分为“Human”、“Place”、“Organization”、“Time”、“Pronoun”和“General”，六种类型进行标识，分别表示“人物”、“地点”、“机构”、“时间”、“代词”和“一般名词”，其标注的方式与上述动词的标注方式是一样的，即张先生，指代消解就是把指代这类命名实体的代词进行消解。 　　指代消解最核心的问题是根据文章的两个名词和名词短语来判断是否存在指代关系[5]。名词短语是以名词为主体的短语，性质和作用与名词相同。例如：民俗风情、甲级联赛、社会风气等。 　　在计算机指代消解中，处理的关键名词短语包括：人名（Human Name）、地名（Place Name）、机构名（Organization Name）、时间（Time）、代词（Pronoun Name）和一般名词（General），分别用符号H、P、O、T、D和G 表示不同类型的先行词对应的照应语类型不同，如人称代词的先行语一般指代人名，绝对不会指代时间或者代词，如表1所示： 　　表1 基本名词成分分组情况 　　组别 词性符号 　　人名（Human Name） nr 　　地名（Place Name） ns 　　机构名（Organization Name） nt 　　时间（Time） Tg/t 　　代词（Pronoun Name） r 　　一般名词（General） an /Ng/n/nx/nz/vn 　　判断名词短语的方式步骤如下： 　　首先，根据上面的六种组别分类判断出句子中的名词短语； 　　其次，根据距离属性，判断相邻的短语如果组别相同，可以将两个短语合二为一； 　　最后，合并并列的名词性短语。如句子中出现“和”、“与”或“、”两侧的短语的类型一致，就将两侧短语连同连接词“和”、“与”或“、”一起合并为一个名词短语。字母B