基于语料库的工作.ppt

中文信息处理--基于语料库的工作 基于语料库的工作 张宇 大纲 什么是语料库 语料库的发展简史 语料库建设中处理的问题 数据标注 什么是语料库 语料库，英文为Corpus 存储语言材料的仓库 现代的语料库是指存放在计算机里的原始语料文本或经过加工后带有语言学信息标注的语料文本. 关于语料库的三点基本认识 语料库中存放的是在语言的实际使用中真实出现过的语言材料； 语料库是以电子计算机为载体承载语言知识的基础资源； 真实语料需要经过加工（分析和处理），才能成为有用的资源； 语料库示例 北京大学计算语言所富士通人民日报标注语料库样例： 历史/n 将/d 铭记/v 这个/r 坐标/n ：/w 北纬/b ４１．１/m 度/q 、/w 东经/b １１４．３/m 度/q ；/w 人们/n 将/d 铭记/v 这/r 一/m 时刻/n ：/w １９９８年/t １月/t １０日/t １１时/t ５０分/t 。/w …… [中国/ns 政府/n]nt 顺利/ad 恢复/v 对/p 香港/ns 行使/v 主权/n ，/w 并/c 按照/p “/w 一国两制/j ”/w 、/w “/w 港人治港/l ”/w 、/w 高度/d 自治/v 的/u 方针/n 保持/v 香港/ns 的/u 繁荣/an 稳定/an 。/w 语料库的分类 生语料库/熟语料库 生语料库就是未经加工的,没有任何切分,标注标记的原始语料库 熟语料库就是指经过加工,带有切分,标注标记的语料库 系统型语料库/专用型语料库 系统型语料库就是依据事先确定的选材原则和比例选取语料的语料库 专用型语料库就是指专门服务于某个特定目的的语料库 单语种语料库/多语种语料库 语料库发展简史 第一代（1970－80年代） 第二代（1980－90年代） 第三代（1990年代－） 第一代语料库 Brown语料库 LOB语料库 LLC语料库 第二代语料库 COBUILD语料库 Longman语料库 第三代语料库 ACL/DCI语料库 The Association for Computational Linguistics Data Collection Initiative UPenn树库 LDC（ Linguistic Data Consortium ） 语料库建设中处理的问题 文本 生文本 标注文本 语料库建设中处理的问题 低级格式问题 标记化：什么是一个词？ 词法 句子 低级格式问题 垃圾格式 由于语料库的来源复杂，语料库中可能存在无法处理的各种各样的格式或内容，他们是没有用处的，需要过滤掉。 文档页眉、分隔符、排版代码、表和图表 如果数据来源于OCR，会引入错误识别的问题 低级格式问题 大小写 the，The，THE Richard Brown brown paint 识别句子中人名的启发式方法 把每个句子开头的大写字母转换成小写字母 把一串连续大写的词当作标题和副标题 这样，其余的大写字母就可以认为是名字 标记化：什么是一个词 什么是词 前后有空格的连续字母组成的字符串，可以包含连字符和省略号，但是不能包含其它的标点符号。 Kucera and Francis（1967） $22.50，Micro$oft，C|net 标记化：什么是一个词 句点 大多数句点的作用是表明句子结束，其它情况表示缩写，例如：etc.，Calif.。 保留句点的意义 Wash.（Washington）-- Wash etc.出现在句子的末尾的时候，只保留一个句点，这个句点同时表示两种意思。 标记化：什么是一个词 单撇号 I’m，isn’t …… I am，is not dog’s 表示什么？ dog is，dog has，还是所有格形式？ 词末尾的单撇号如何处理？ 通常代表一对引号的结束，不是该词的一部分 如果它跟着一个s出现 boys’ toys 标记化：什么是一个词 连字符：不同形式表示相同形式的词 带有连字符的一串字母应该看成一个词还是两个？（有时候是一个，有时候是两个） 一个，来源于排版印刷 找到一行中最后的连字符，丢弃它，把本行的词和下一行的连起来 e-mail, co-operate 连字符用于表示引用的短语或者数量、比率 the 26-year-old database, data base, data-base 破折号和词语之间的空格 标记化：什么是一个词 相同形式表示不同的“词语” saw – 工具 saw – see的过去时 标记化：什么是一个词 其它语言中的分词 中文、日文、泰文 严守一把手机关上 — 严守一 把 手机 关上 德语中大多数的词语有空格分割，但是复合名词写成单独的词 Lebensversicherungsgesellschaft