结构上下文相关的概率句法分析.PDFVIP

结构上下文相关的概率句法分析+ 张浩1刘群1白硕1，2 ‘(中国科学院计算技术研究所’北京1000ao) 2《国家计算机与嗍络信息安全管理中心jb京10003I)， E删些垫曲垫遁雹叠塑堕熊：自￡血 摘要： 本文研究了PCFG独立性假设的局限性，并在PCFG的基础上提出了三个逐层递进 的与结构上下文相关的概率句法分析模型，它们考虑了分析树当中每个派生节点的结构上下丈 条件．为了更好地说明方法本身的问题，我们在宾州中文树库和一个短句树库上都进行了实验， 文中给出了横向和纵向的对比实验数据．结果表明，系统地将结构上下文奈件引入的做法以很 小的代价提高了概率句法分析器的性能，值得推广和深入研究． 关键词：概率句法分析：结构上下文；Chart分析；汉语自动分析 引言 自然语言处理当中的句法分析是以建立起一个句子的树型结构为目标的分析过程。建立起这样的树 结构要求首先建立起—套语法规则。最早的规则系统就是简单的上F文无关语法规则。}书这样的规则盖 分析自然语言的句子，歧义问题难以避免。一个句子常常会被分析出成千上万的符合规则的分析树来。 为了把规则描述得更加细致，各种由上F文无关语法派生出来的语法规则系统又被引入这个领域。概率 上F文无关语法(PcF(；)就是把概率引入到上F文无关语法规则系统而形成的语法规则系统。概率可以为 分析过程中的歧义消解提供依据。现在，我们可以选择出—个概率最大的分析树作为分析结累T。但是， 经典的PCFG实际上是建立在一些非常理想化的独立性假设的基础之￡耐11，而这些假设并不符合实际， -F是造成了PCFG的实际效果不理想。本文的工作对树库当中分析树的局部结构进行r统计，估计出了 在～定周边结构条件限耕F的规则施用概率。这在一定程度上是从语法结构的层面对PCFG的上F文无 戈假设所进行的突破。 本文第’部分将介2“基，‘上述思想的儿个层次的概率模型，并说明它们之间的关系以及它J与经典 PcFG的关系。第二部分将介绍实验的具体步骤、所用算法。第二部分将针对实验结果进行分析说明。 1概率模型 】经典概率模型—呻cFG —个啪G的符号系统包括以下成分： · 一个终结符的集合，{w‘)，七=】一．，y 奉课魄罡髑霖董点基础昕卯嗵目(97，)资助(G1998030S10和G199蝴74) 46 ．—个非终结符的集合，{N’)，i=1，…， ．—个开始符号．N ． 7是一个终结符和{乍终绐符的序列) 7}，t其中f 一个脱则的集合．{N’—÷f 概率方面，PCFG给出n扫一个船终结符节点可能派生出的各种符号序列的概率分布，即： 7寸f’『N’)=1 vf∑P(N 』 汁算—鼢析树f的慨率尸(f)，需要i撕I攘的独立性假设．经典的PCFG认为．施用每一剩煦0口粥率独一十hF 上和祖先节蔗’I．或者说．给定了—个非终结符节点．它会以多大概率派生出什么样的于节点序列，足语法决定的。这样· 假设，与中的所有规则构成r一个规则的多重集R．那么： JD(rILHS(r)) JD(，)=Il 1．2考虑祖先节点条件的概率模型—_P-PCFG 鹳I；系统小，受，改啦独●辨假设．认为每条规ⅢU的施用概率要受到左部非终结符节点的父节点的决定。相d屯地，模型 中包括r这样的概率分布： 7{N’，N‘)=1，其中．N。，N‘属于Ⅳ’是Ⅳ‘之子的关系。 Vi，七FP(N’寸f ， 分析树的概率计算公式： P(，fLHS(r)，ParentOf(LHS(r))) P(，)=n ，ER 短语的结构是受}址层节点的带螳勺的．例如。做主语的NP短语(NP位于s之下)和做寅浯的^P她语(NP位j二IP 之下)的内部结构有着明显不同的概率分布叽P-PCFG把这一决定因素加入到了概率模型当中一 1．3考虑祖先节点和节蒯立置条件的概率模型一PORE)一PCFG 认