句法分析的难点和难点.docxVIP

句法分析的难点和难点 0 基于层叠条件随机场的短维形式分析 在处理自然人方面，句法分析起着重要作用。它在机器翻译、自动问答和自动索引等领域得到了广泛的应用。然而，它的研究和发展相对缓慢。目前短语通常采用“分而治之”的原则,降低完全句法分析的难度,进行部分的句法分析,而对于短语的分析是其重要部分之一。文献探讨了汉语中基于短语的语法分析方法的优势,指出单独的短语分析和提取在汉语的句法分析中有重要地位。基于以上理论,本文对搜索引擎日志中“N+V”型短语进行内部结构和外部功能的分析,为“N+N+V”型短语和“N+V+V”型短语等外显型歧义结构的消歧提供了解决方法,从而为完全句法分析打下基础,为搜索引擎用短语词典构建提供基础研究服务。 短语分析主要分为基于规则的和基于统计的两种。文献指出现代汉语中,对短语的分类一般采用下面两种分类标准:内部结构和外部功能。按照内部结构,可分为:定中短语、状中短语、主谓短语、述宾短语等;而按外部功能,则一般分为名词短语、动词短语、主谓短语、形容词短语等。文献以1998年半年《人民日报》语料,对常用的组合歧义字段,通过建立以歧义字段的上下文的词和词性的复合特征模板,实现其消歧。文献提出一种基于层叠条件随机场的句法语义自动标注方法,该方法在底层条件随机场模型中解决框架元素的识别,将识别结果传递到上层短语类型识别的条件随机场模型,再将识别结果传递到上层句法功能识别的条件随机场模型,有效地解决了短语句法语义自动标注问题。 基于以上理论,本文将基于层叠条件随机场实现对搜狗日志语料中的“N+V型短语”分析。其分析分为两个阶段:确定“N+V”型内部结构;确定“N+V”外部功能类别。对搜狗日志语料中“N+V”型短语进行初步人工校对,发现“N+V”型短语呈现五种结构类型:主谓、定中、状中、同位和联合;三种外部功能类别:名词短语、动词短语和主谓短语。首先,是对搜狗日志语料中已经进行过短语边界识别的“N+V”型短语,通过条件随机场模型,依据句子中词语、音节信息和词类信息,预测每个词对应的短语内部结构标记信息;然后,通过对短语的内部结构的预测信息进行校对处理,得到正确的短语内部结构标记信息,作为短语外部功能类别识别的一个输入特征;其次,根据短语的词语、词类信息、词语长度信息和短语内部结构信息,运用条件随机场模型,预测每个词对应的短语外部功能标记信息;最后,对短语的外部功能标记信息进行校对处理,得到正确的短语外部功能类别标记信息。 1 条件与特征的选择 条件随机场模型是一种用于标注和切分的序列化标注模型,它是Lafferty在最大熵和隐马尔科夫模型的基础上,提出的一种判别式概率无向图学习模型。条件随机场作为一个无向图模型比隐马模型和最大熵模型等有向图模型识别的效果好。隐马最大的一个缺点是它的输出独立性假设条件,使得不能考虑上下文的特征信息,限制了特征的选择;而最大熵模型解决了这个瓶颈,但是又引来了新的问题:它可以随意地选择特征,由于其在每个节点上都要进行归一化处理,所以只能达到局部最优,不能达到全局最优。而条件随机场解决了以上两种问题,它不是在每个节点进行归一化处理,而是对所有特征都进行全局归一化处理,具有表达元素长距离依赖性和交叠型特征的能力,能方便地在模型中包含领域知识,因此,可以达到全局最优。但是条件随机场也有一个缺点:当需要识别的类别数很大,以及数据规模比较大的时候,会产生许多可区分的特征,导致训练和测试的效率降低。 搜索引擎日志中“N+V”型短语的内部结构和外部功能类别确定问题可以转化为对搜索引擎日志查询串利用词语、词类信息、词语长度信息、边界信息、信息焦点等特征,选择标记的问题。而条件随机场是一个序列标注化模型,因此,将搜索引擎日志中“N+V”型短语分析的过程通过基于层叠条件随机场模型来实现。 2 分析“n.v”型猪的日常事务 2.1 电力/n的编码 “N+V”型短语分析的过程其实是通过层叠条件随机场实现“N+V”型短语的内部结构和外部功能类别识别的过程。本文采用S/E(Start/End)编码方式,B表示一个短语的开始,I表示短语的内部,E表示短语的结尾词,O表示短语的外部的词。如搜狗语料中的查询串: 海南/ns 康/b 德/b 泰/b 电力/n 开发/vn 有限公司/n; 依据S/E编码方式,可以编码为: 海南 ns 2 O O O 康 b 1 O O O 德 b 1 O O O 泰 b 1 O O O 电力 n 2 B-NV B-NV4 B-NV1 开发 vn 2 E-NV E-NV4 E-NV1 有限公司 n 4 O O O。 其中,第二列是词的音节列;第三列是短语边界标记列,“O”、“B-NV”、“E-NV”分别表示短语边界类型的外部标记、短语边界的开始标记、短语边界的结束标记;第四列是短语的内部结构标记列