深层语言处理的新契机NewChancesforDeepLinguistic.pptVIP

深层语言处理的新契机 New Chances for Deep Linguistic Processing Hans USZKOREIT Language Technology Lab German Research Center for Artificial Intelligence and Saarland University 背景资料 语音科技中迄今为止规模最大的研究项目 Verbmobil，研究口语面对面交谈的实时翻译，采用基于 HPSG 的深层语言处理作为核心技术之一 。 W.Wahlster (ed.). 2000. Verbmobil: Foundations of Speech-to-Speech Translation. Springer, Heidelberg. 背景资料 Verbmobil 是由德国教育与研究部（BMBF）资助的一个为期 8 年（1993－2001）的语音翻译项目，涉及三种语言（德语、英语、日语）的双向翻译。世界三大洲的 31 个研究机构、369 名科学家和 919 名学生参与了这个项目的研究。Verbmobil 的目的在于“通过工业及科学界尽可能多的分支领域的合作与集中，在下一个世纪的语言技术及其经济应用领域中为德国谋取国际领先地位”。 冯志伟.2003.机器翻译的现状和问题.《中文信息处理若干重要问题》 背景资料 HPSG （Head-Driven Phrase Structure Grammar)，中心语驱动的短语结构文法。主要理论主张有三：表层导向、基于约束和词汇主义。特征结构是 HPSG 描述语法信息的主要手段，合一运算是是其主要的运算机制。词语承担了大量的句法语义信息，词汇系统的组织采用了类特征结构。和生成语法的最大区别是：HPSG 是非转换的。 吴云芳.2003.HPSG 理论简介.《当代语言学》第3期. 内容摘要 通过一种新的国际合作形式，HPSG 句法分析在效率上有了新的突破，这种合作形式以非常系统化的方式更好地整合了各种不同的方法。 效率仍然是深层分析走向实际生活运用的主要障碍之一。 我们提出了深层分析运用上的一种崭新的方法，这为弥补句法分析在覆盖面和健壮性上的缺陷提供了一种策略。应用不同深度的分析方法，通过深层分析和浅层分析的有效结合，浅层分析的健壮性在信息提取应用中得以保持。 文章结构 引言 效率 健壮性和覆盖面 结论和将来的研究工作 前景展望 致谢（略） 参考文献（略） 引言 现状：深层语法分析在语言技术应用的发展中还处于被忽略的地位。深层句法分析器缺乏实际生活应用所需的效率和健壮性。 我们的方法：选择合适的深层分析嵌入到用于信息提取的一个健壮的浅层分析模型中。 引言 进一步阐明深层分析： 计算语言学核心的、也是最具有挑战性的任务是实现深层语言处理。 在效率、健壮性和特异性方面达不到基本要求； 不能处理自然语言中大量的歧义现象； 时间和空间的效率达不到要求。 1 效率 Verbmobil中采用基于 HPSG 的深层语言处理作为核心技术之一 。 质疑：为什么要将最缓慢、最复杂的处理方法植入到面向实时处理的系统中呢？ 主要合作成员： DFKI LT-Lab 斯坦福大学的 CSLI 作者在 Saarland 大学主持的PERFORM项目 东京大学的自然语言处理实验室（后来加入） 1 效率 核心技术来自PERFORM项目。 其方法论基础是：对一个句法分析器每个版本的所有相关性能数据进行系统的、精密的和非常详尽的度量。对每一个分析器和每一个被分析的句子均生成一条数据记录，来记载成功的和失败的、完全的和部分的分析结果的数目和大小，同时也记载总体的时间和空间消费。 1 效率 1 效率 Stephan Oepen 研制出了新颖独创的工程平台tsdb（Oepen, 2002），能生成详细的技术诊断报告和不同系统之间复杂的多维比较结果。 获取可资比较结果的前提条件：利用同样的语法和同样的测试语料。基准语法是 Stanford LinGO 。 评价的结果即可引导最佳方案的成功整合。 效率由此得到了提高。 1 效率 小结论：经过一个真正的科学和技术异花受精似的（cross-fertilization process）过程，最终生成了一个方法综合体，它带来了效率上的突破性进展。 时间效率增益明显。 空间消耗也减少了一个多数量级。 1 效率 赢得效率的关键技术包括以下： ? 消除特征结构中的普遍分离现象； the elimination of general disjunction in feature structures