浅谈中文信息处理跨文本指代消解的研究.docVIP

浅谈中文信息处理跨文本指代消解的研究 　　摘要：中文信息处理是NLP（自然语言处理）的一个组成部分，它是研究自然语言的学科，它和其他学科如计算机学，文学，理工学等有着一定的综合联系。中文跨文本指代消解是中文信息处理的核心技术，是提高信息抽取和信息检索正确率的基础，主要任务是解决重名消歧和多名聚合两大问题。该文从基本概念入手，描述在语言处理中典型的指代现象和指代消解所需的基本语言知识；同时简单介绍指代消解中商用的算法和技术。 　　关键词：中文信息处理技术；切词；指代消解；语料库创建 　　中图分类号：TP311 文献标识码：A 文章编号：1009-3044（2013）15-3447-02 　　中文信息处理是利用计算机对存储在计算机内的中文的音、形、义等信息进行加工和处理。中文信息处理一般可以继续分为汉字信息处理和汉语信息处理，具体内容包括对字词句、段落的处理，加工步骤首先为为输入—存储—传输—输出，其次是识别—转换压缩—检索—分析理解和生成等方面的处理技术。中文信息处理的应用主要是信息抽取和信息检索，在信息抽取和信息检索过程中，难免会遇到多个指代词指向同一个实体，或者多个实体同一个名称的现象，如何解决这两大问题是当今研究的主要方向，单一文本指代消解技术目前已相对成熟，而跨文本指代消解技术更加复杂。下面先介绍相关基本概念。 　　1 相关基本技术 　　1） 中文信息处理技术在语言处理阶段分为基础技术和应用技术，基础技术涉及到词处理，句处理，篇章处理。应用技术主要应用在信息检索，信息抽取方面。统计方法阶段的技术主要有语料库的建立，统计模型建立，利用语料库训练模型参数，编写算法解决问题等技术。 　　2） 指代分为两种情况，指代主要有回指和共指消解主要有两项任务，即：重名消歧和多名聚合。重名消歧义主要指同一个名称指代的物体不同，在信息检索中常出现，而多名聚合主要指多个名称指向同一个物体，一般应用在信息抽取中。指代主要有回指和共指，如：“小明放学了，妈妈去接他”，句中的“他”一般就是回指“小明”，再如：“中国国家主席和毛泽东”就是共指。指代消解方法主要有一般有基于句法的方法和基于语料库的方法，基于语料库的指代消解方法是当今研究学者用到最多的方法。 　　3） 语料库创建技术 　　语料库通俗的来讲就是存放语料的仓库，利用语料库可以进行语言学研究，它的特点是，必须是真实环境中的语言材料，必须以计算机为载体，必须是经过加过处理过的。利用计算机来搜集整理加工语料最终形成语料库是中文信息处理技术的基础，语料库的创建技术也是中文信息处理技术的关键。语料库不仅可以用作训练用，还可以用为评估指代消解的质量 　　4） 词处理技术 　　分词的方法主要有，第一种，理解式切分法，利用汉语的结构对词进行界定，并建立成词库，数据库。该方法假设机器具有人类的思维，一般较难实现。第二种方法为机械式分词法，按照一定的策略，如正向最大方法，比较易于实现，第三种方法为基于频度统计的方法，该方法通过相邻字出现的频率来确定是否成词。目前采用的分词技术是多种方法相结合的技术。在切分词的过程中，遇到的最大困难时歧义词和未登录词的切分。 　　5） 分词歧义消解技术 　　在进行分词过程中，难免会出现未登录词现象和歧义切分现象，歧义的类型有很多种，词的歧义，结构的歧义，指代和省略中的歧义，或者其他更复杂的情形。如：“物理学是一门基础科学”和“物理学起来很难”中的“物理学”究竟是“物理+学”还是“物理学”这。再如：“他的确切地址在这儿”和“这块肉的确切得不错”的“的确切”究竟怎么组合。目前我们一般采用规则知识和统计信息相结合的方法来处理，首先运用分词规则，在规则使用无效的情况下再使用统计信息方法， 　　2 指代消解研究基本方法 　　1） 基于句法的指代消解方法 　　在指代消解初期，研究者一般是基于句法进行指代消解研究，RAP算法就是基于句法的代表，它的原理是利用人们对句法层面所掌握的知识，结合启发式的方法用于消解。该方法先进行句内过滤，如“小明打了他”，这个“他”不可能指代“小明”，然后基于人称，性和数排除不可能的NP，接着判断冗余的代词，根据字词之间的约束关系识别在同一句内所有可能的现行语，特别要注意是互质代词和反身代词的先行语，接着对候选的NP进行突显性赋值，把回指的节点作为等价类，形成一个回指链，重点是最后一步，就是要从代词的先行语候选库中选择出可能的优先元素。RAP算法事先通过人工方式，降低了系统的可移植性和自动化程度，主要考虑第三人称，指代消解的准确率为86%。 　　2） 近期基于语料库的指代消解方法 　　现在语言学高速发展，用来实验的语料库也不断出新，不管是个人创建的小型语料库还是前期研究学者公开发布的大型语料库都有了飞速的发展，在这个基础上，基于