语料库研究及应用综述.pdfVIP

语料库研究与应用综述 目录 一 概述 二 中国语料库建设的基本情况 三 语料库的加工、管理和规范 四 语料库在语言研究中的的应用 五 参考文献 语料库研究与应用综述 (1998-2003) 傅爱平 一 概述 语料库通常指为语言研究收集的、用电子形式保存的语言材料，由自然出现的书面语或 口语的样本汇集而成，用来代表特定的语言或语言变体。经过科学选材和标注、具有适当规 模的语料库能够反映和记录语言的实际使用情况。人们通过语料库观察和把握语言事实，分 析和研究语言系统的规律。语料库已经成为语言学理论研究、应用研究和语言工程不可缺少 的基础资源。 语料库有多种类型，确定类型的主要依据是它的研究目的和用途，这一点往往能够体现 在语料采集的原则和方式上。有人曾经把语料库分成四种类型：（1）异质的（Heterogeneous ）： 没有特定的语料收集原则，广泛收集并原样存储各种语料；（2 ）同质的（Homogeneous ）： 只收集同一类内容的语料；（3 ）系统的（Systematic）：根据预先确定的原则和比例收集语料， 使语料具有平衡性和系统性，能够代表某一范围内的语言事实；（4 ）专用的（Specialized ）： 只收集用于某一特定用途的语料。除此之外，按照语料的语种，语料库也可以分成单语的 （Monolingual ）、双语的（Bilingual ）和多语的（Multilingual ）。按照语料的采集单位，语料 库又可以分为语篇的、语句的、短语的。双语和多语语料库按照语料的组织形式，还可以分 为平行（对齐）语料库和比较语料库，前者的语料构成译文关系，多用于机器翻译、双语词 典编撰等应用领域，后者将表述同样内容的不同语言文本收集到一起，多用于语言对比研究。 语料库建设中涉及的主要问题包括： 1 设计和规划：主要考虑语料库的用途、类型、规模、实现手段、质量保证、可扩展 （ ） 性等。 2 语料的采集：主要考虑语料获取、数据格式、字符编码、语料分类、文本描述，以 （ ） 及各类语料的比例以保持平衡性等。 3 语料的加工：包括标注项目（词语单位、词性、句法、语义、语体、篇章结构等） （ ） 标记集、标注规范和加工方式。 4 语料管理系统的建设：包括数据维护（语料录入、校对、存储、修改、删除及语料 （ ） 描述信息项目管理）、语料自动加工（分词、标注、文本分割、合并、标记处理等）、 用户功能（查询、检索、统计、打印等）。 5 语料库的应用：针对语言学理论和应用领域中的各种问题，研究和开发处理语料的 （ ） 算法和软件工具。 我国语料库的建设始于 80 年代，当时的主要目标是汉语词汇统计研究。进入 90 年代以 后，语料库方法在自然语言信息处理领域得到了广泛的应用，建立了各种类型的语料库，研 究的内容涉及语料库建设中的各个问题。90 年代末到新世纪初这几年是语料库开发和应用 的进一步发展时期，除了语言信息处理和言语工程领域以外，语料库方法在语言教学、词典 编纂、现代汉语和汉语史研究等方面也得到了越来越多的应用。 语料库与语言信息处理有着某种天然的联系。当人们还不了解语料库方法的时候，在自 然语言理解和生成、机器翻译等研究中，分析语言的主要方法是基于规则的（Rule-based ）。 对于用规则无法表达或不能涵盖的语言事实，计算机就很难处理。语料库出现以后，人们利 用它对大规模的自然语言进行调查和统计，建立统计语言模型，研究和应用基于统计的 （Statistical-based）语言处理技术，在信息检索、文本分类、文本过滤、信息抽取等应用方 向取得了进展。另一方面，语言信息处理技术的发展也为语料库的建设提供了支持。从字符 编码、文本输入和整理，语料的自动分词和标注，到语料的统计和检索，自然语言信息处理 的研究都为语料的加工提供了关键性的技术。 下面先简要叙述