基于大规模语料库的句法模式匹配的研究.pdfVIP

基于大规模语料库的句法模式匹配研究· 张亮1’2 陈家骏1 1．南京大学计算机软件新技术国家重点实验室南京210093 2．江苏警官学院公安科技系南京2101910 Ermil：2hall西i柚蛸@163枷 摘要：基于“语言分析依赖经验”的思想，本文提出了—种基嘲匹配的句法分析的新方法，即从大现傍讳幕注 语料库中抽取出蕴洽的句法模．式，构建模式、子模式及其规约库，旬法分析韵迸荐掰馐蝤试匹配和局部模式转换 的过程。实验表明句法分析的各硕髓陆-都比较理想，尤其是处理效率很高。 关建词：句法分析模式匹配句法p《库 Researcheson Scale Pattern LargeCorpus-basedSyntax Matching Zh锄g ChenJia-Junl Lian91’2 Scienceand 1．Dcpt．ofComputer 210093 Technology,Nanjing U疽粥rsi锣，Nanjing Police 210000 2．JiangsuInstitute，NanjingEmail：zhangliangg@163．c咖 Absa啦． hlthispaper，、转芦op0∞aIl州p8fSing位c1111iq№basedOnsyntaxpatternrrmchingByemactingsyntax antipartaansfimningis lCe”erds：synta两epafsiI坞p日地mm越凼鸣 uxpus 1．引言 随着语料库规模的发展，基于语料库的统-i．t概率模型已经成为句法分析的重要研究方向，代 表性的有概率型上下文无关模型(PCFG)uJ、基于历史的分析模型t21、分层渐近式句法分析模型脚、 头驱动的统计句法分析模型【4J等。基于统计的方法实质是—个评价句法分析结果的概率评价函 数，即对于任意—个输入句子s和它的句法分析结果t，给出一个条件概率POls)，并由此找出 该句法分析模型认为概率最大的句法分析结果，即找到argataxP(t|s),句法分析问题的样本空间为 sx T其中S为所有句子的集合，T为所有句法分析结果的集合。统计方法的主要问题是数据稀 疏问题、忽略上下文结构信息、需要大量计算等。 基于语料库的另—种方法是面向数据的分析①№o|妇曲d功【Isi嚷，DOP)tSl研技术，它从句 法标注语料库中抽取所有任意大小规模和复杂结构的片段，通过对语料库中片段的组合操作来实 现句法分析，然后考虑所有结果的概率总和的大小，来选择最优结果。DOP模型较好地利用了 语料库中蕴含的知识，体现了“语言分忻依赖经验”的思想17J，最大缺点还是没有充分利用上下 文信息(片段间相互独立)，注重片段而忽略了整体，另外片段组合与概率计算的工作童也很大。 作者简介：张亮，男，博士后。研究方向：信息检索、问答系统、句法分析． 126 我们的基于模式匹配的句法分析与DOP类似，都是建立在“语言分析依赖经验”这一思想基础 上，但在算法实现上不同，借鉴了文法转换中的部分理论和技术俐，并在句法分析中注重整体 匹配、局部转换。 基于模式匹配的句法分析 2．1基本思想 在计算机上输入汉语时，单个的汉字输入既慢又易出错，而词组的输入则又快又准，究其 原因是词组的重码率低，也就是减少了歧义发生率，基于模式匹配的句法分析与此类似，模式即 类似于词组，当然分析处理要复杂得多。在从句法标注语料库中获取了大量句法模式的基础上， 不再如传统的概率模型，计算各种组合的最大概率，而是大处着眼，快速识别处理对象中包含的 句法模式或隐含的近似句法模式。 模式匹