语料库中语言知识标记问题.pdfVIP

苗传江、杜燕玲主编《第二届 HCN 与语言学研讨会论文集》，2004． 语料库中语言知识的标记问题 李 宇 明 提要 语料库具有五种基本性质，知识标记是语料库的重要内容，其中语言知识标记是 语料库深加工的核心内容。应广泛搜集已有的语言学文献，将其数字化为语言知识数据库， 以大力支持语料库的语言知识的标记，迅速提升计算机的语言智慧。应有计划地开发基于语 料库的语言研究软件，方便学者利用语料库，推进语言研究手段的现代化，促进“基于统计” 的和“基于规则”的两种语言研究路向的交流与合作。 关键词 语料库 语言知识 标记 在信息时代快步走来之时，必须明确这样的观念：语料库是语言信息处理必不可少的基 础工程，是当今语言研究和语言应用研究的重要工作平台，是语言知识及其他知识提取的十 分重要的工具。 多年来，语料库问题已广受关注，不断有语料库建设的新计划出台，已有多个语料库投 入使用并得到继续开发。语料库语言学已有不少的研究者，并且还发表了专门研究语料库的 博士论文。国家语委正立项研究语料库的规范问题。尽管如此，无论是理论上还是实践上， 我国的语料库建设都还处在初级阶段，许多问题都待深入研究。例如：建设哪些类型的语料 库才能满足学术和应用的需求，怎样为特殊语料库（比如古代汉语语料库，少数民族语料库 等）的建设创造必要的条件，对库中的语料如何深加工，语料库的建设规范和加工规范，语 料库成果的最大限度的共享，语料库知识产权问题等等。 本文讨论三个问题：a ）语料库的性质；b ）语言知识标记在语料库建设中的地位；c ） 语言知识的获取。这些讨论都与语料库的深加工有关。 一、语料库的性质 认识语言知识及其标记在语料库建设中的地位，需要先定义语料库。从文后的参考文献 可以窥见，语料库研究已有不少成果。根据这些研究可把语料库定义为： 语料库是指机器可以处理的有一定规模、结构和知识标记的自然话语材料的集合。 这一定义从五方面对语料库进行了界定或描述，这五方面其实也可以看作现代意义上的 语料库的五种性质。 （一）语料库可以用机器进行处理 “处理”在这里应当理解为三种含义：a ）利用机器自动管理语料库；b ）机器可以对语 料进行检索、统计等；c ）对语料进行自动或半自动的加工等。过去也曾有过专书引得，或 是为词典编纂、语言研究等而做的语料卡片库，但它们不能用机器处理，不是现代意义上的 语料库。 有学者将语料库的这一特性概括为“可以机读”。这一概括很精要，其着眼点主要在上 述的 b)方面。“可以机读”的确是现代意义上的语料库区别过去“卡片库”等的主要特点， 用机器对语料进行检索统计也的确是现代语料库的主要功能，但是，从语料库管理的宏观角 度进行思考，从计算机自学习功能的开发和语料库的自动加工等当前人们努力的方向考虑， 在“可以机读”的基础上提出“可以用机器进行处理”及“处理”的上述三种具体含义，应 该是有价值的。 惧闲聊斋供稿 1 李宇明 语料库中语言知识的标记问题 （二）语料是自然话语材料 自然话语指的是处于自然状态的人类的自然语言材料，是真实存在过的。是自然话语材 料，就不是人工语言（如 C++、BASIC 之类的计算机高级程序设计语言），也不是经过语料 收录者修改润色的语言。自然话语材料具有真实性，语料库不仅收录合乎语言规范的语料， 而且也应包含语言运用中的各种失误。语料的真实性是语料库精神之所在，价值之所在。对 原始语料修改润色，哪怕是对原始语料中不规范现象的修正，都会损害语料的真实性，都可 能降低语料库的应用价值。例如某大型语料库，由于建库时字库技术的限制而将原始语料中 的繁体字更换为简体字。就是这一技术上的语料修改，使得该语料库失去了研究 20 世纪汉 字简繁演变情况的功用，且影响到字种使用情况的考察，甚至还可能影响到字频、词频的统 计结果。 再如，现在可以通过网络较为方便地下载数以亿计的语料。这些语料的原始载体（首