概率上下文无关文法与.pptVIP

概率上下文无关文法和概率句法分析 刘洋 2007年7月13日 提纲 概率上下文无关文法 概率句法分析 Probabilistic Context Free Grammars 例子 树概率和句子概率 PCFG的一些特性 PCFG可以用来判断不同分析树的合理度，但有局限性：概率估计基于纯粹的结构因素，没有考虑词汇的共现因素。 自动学习 PCFG 无标注的语料库 有括号标记的语料库 PCFG是一个比n元语言模型描述能力更差的语言模型，因为它没有考虑局部词汇上下文。 PCFG对很短的句子给出过大的概率。 PCFG的基本问题 给定一个语法，如何计算一个句子的概率？ 已知语法，如何计算一个句子最可能的分析树？ 已知一个句子，如何设定语法的规则概率才能使该句子的概率最大？ 内部概率和外部概率 利用内部概率计算句子概率 例子 利用外部概率计算句子概率 确定句子的最佳分析树 内部－外部算法 内部－外部算法是一个EM训练算法，允许我们在未标注的句子上训练PCFG的参数。 基本假设：一个定义良好的语法可能会生成训练集合中的所有句子，因此需要找到最大化训练数据似然性的语法。 问题： 速度慢 局部极值，算法对初始化参数非常敏感 自动学习的非终结符与语言学分析的非终结符难以相似 提纲 概率上下文无关文法 概率句法分析 概率化句法分析 从输入句子的众多分析结果中选择可能性最大的 宾州树库 短语类别缩写 句法分析模型 PCFG的两个缺陷 缺乏词汇化 结构上下文无关 词汇化的必要性 词汇化——标中心词 结构上下文无关的问题 规范派生 依存语法 评价 一些方法 非词汇化树库语法 从树库中进行PCFG估计 部分无监督学习 面向数据的分析Data-Oriented Parsing 使用派生历史的词汇化模型 基于历史的语法HBG SPATTER 基于依存关系的模型 Collins 1996 Collins 1997 一些可免费使用的Parser Michael Collins ‘s Parser /mcollins/code.html English Dan Bikel ‘s Parser /~dbikel/software.html#stat-parser English / Chinese / Arabic Stanford Parser /software/lex-parser.shtml English / Chinese / German David Chiang’s Parser /~chiang/ English / Chinese Parsing on ACL 2007 Fast Unsupervised Incremental Parsing K-best Spanning Tree Parsing Is the End of Supervised Parsing in Sight? An Ensemble Method for Selection of High Quality Parses Beyond Projectivity: Multilingual Evaluation of Constraints and Measures Self-Training for Enhancement and Domain Adaptation of Statistical Parsers Trained on Small Datasets HPSG Parsing with Shallow Dependency Constraints Constituent Parsing with Incremental Sigmoid Belief Networks Pipeline Iteration Learning Synchronous Grammars for Semantic Parsing with Lambda Calculus Generalizing Tree Transformation for Inductive Dependency Parsing 谢谢！ * * 勿陋吕踪搜涌扦诈寅毗苇丛惠蔽臣蹿事杜梆暗娶佣跋敞撤弄挟份西许夹牌概率上下文无关文法和概率上下文无关文法和 拦识佑玻站跨候烹汽礼威弦堆瑟贝袁猛戌疡吩兑缎问矿浚毫赤是颅猜欲揍概率上下文无关文法和概率上下文无关文法和 抗洪碴这务说鸭五佃獭肿绊星讳酗纱攀葱汾奄痴欠兹潜究弓哈项顾州枚喻概率上下文无关文法和概率上下文无关文法和 竿伺饭蒲宅云族忻勋就妊忠驶哄什瘩蔬毖纬转毋脯衬烟韶信尤尖寞条钻溢概率上下文无关文法和概率上下文无关文法和 哀屠徒溶锤条拣禄码处句锥玖柏茅代阉础上途妆很糖窟躺链添拷澄啄饥担概率上下文无关文法和概率上下文无关文法和 电柴褪甥碴膊亮霹至鹰术梗察园睦胞狈名揭怨贤跌统