基于语料库的工作课件.pptVIP

中文信息处理--基于语料库的工作 基于语料库的工作 张宇 大纲 什么是语料库 语料库的发展简史 语料库建设中处理的问题 数据标注 什么是语料库 语料库，英文为Corpus 存储语言材料的仓库 现代的语料库是指存放在计算机里的原始语料文本或经过加工后带有语言学信息标注的语料文本. 关于语料库的三点基本认识 语料库中存放的是在语言的实际使用中真实出现过的语言材料； 语料库是以电子计算机为载体承载语言知识的基础资源； 真实语料需要经过加工（分析和处理），才能成为有用的资源； 语料库示例 北京大学计算语言所富士通人民日报标注语料库样例： 历史/n 将/d 铭记/v 这个/r 坐标/n ：/w 北纬/b ４１．１/m 度/q 、/w 东经/b １１４．３/m 度/q ；/w 人们/n 将/d 铭记/v 这/r 一/m 时刻/n ：/w １９９８年/t １月/t １０日/t １１时/t ５０分/t 。/w …… [中国/ns 政府/n]nt 顺利/ad 恢复/v 对/p 香港/ns 行使/v 主权/n ，/w 并/c 按照/p “/w 一国两制/j ”/w 、/w “/w 港人治港/l ”/w 、/w 高度/d 自治/v 的/u 方针/n 保持/v 香港/ns 的/u 繁荣/an 稳定/an 。/w 语料库的分类 生语料库/熟语料库 生语料库就是未经加工的,没有任何切分,标注标记的原