国家语委语料库介绍 2006.ppt

国家语委现代汉语语料库介绍 教育部语言文字应用研究所 2006 语料库建设 国家语委语料库建设 1991年12月国家语言文字工作委员会提出立项； 1992年4月召开现代汉语语料库选材原则专家论证会； 1993年1月制订《现代汉语语料库选材原则》； 1993年9月召开现代汉语语料库选材专家审定会； 1998年底建成 7000万字的生语料库； 目前已完成1亿字生语料和5000万字标注语料； 语料库建设和加工工作还在继续进行。 被列为国家语委“九五”、“十五”科研重大项目 得到国家科技部“863”、“973”计划多个项目的支持 “智能中文信息处理平台” “图像、语音和自然语言理解” “中文信息处理应用基础研究” 语料库的主要内容 未经标注加工的生语料库 标注语料库 词语切分 词类标注 句法树库 内部结构 外部功能 分词词表 88000词条 词性标注 频率信息 语料库加工标注规范 语料库软件工具 语料库的主要用途 主要用途 语言文字的信息处理 语言文字规范和标准的制定 语言文字的学术研究 语文教育 语言文字的社会应用 语料来源 1993年以前的语料 以人工录入印刷版本的语料为主 约7000万字 1993～2002年的语料 部分采用人工录入印刷版本语料 约1500万字 部分来源自网络电子文本 约1500万字 2002以后的语料 以网络电子文本为主 约1000万字 语料分类 三个主要类别 人文与社会科学类 包括政法、历史、社会、经济、文学、艺术等类别语言材料 自然科学类 自然科学的语言材料（含农业、工业、医学、电子、工程技术等） ，涉及科学技术发展的各个领域。 综合类 应用文 难于归类的语料 人文与社会科学类 人文与社会科学类划分为8个大类和30个小类： 政法：哲学、政治、宗教、法律； 历史：历史、考古、民族； 社会：社会学、心理、语言文字、教育、文艺理论、新闻、民俗； 经济：工业经济、农业经济、政治经济、财贸经济； 艺术：音乐、美术、舞蹈、戏剧； 文学：小说、散文、传记、报告文学、科幻、口语； 军体：军事、体育； 生活。 人文与社会科学类约占语料总量的50％ 自然科学类 自然科学划分为6类： 数理 生化 天文地理 海洋气象 农林 医药卫生 自然科学类约占语料总量的30％， 综合类 综合类语料由应用文和难于归类的其他语料两部分组成。 应用文主要包括以下6类： 行政公文：请示、报告、批复、命令、指示、布告、纪要、通知等； 章程法规：章程、条例、细则、制度、公约、办法、法律条文等； 司法文书：诉讼、辩护词、控告信、委托书等； 商业文告：说明、广告、调查报告、经济合同等； 礼仪辞令：欢迎词、贺电、讣告、唁电、慰问信、祝酒词等； 实用文书：请假条、检讨、申请书、请愿书等。 综合类约占语料总量的20％ 样例 语料分类 语料库选材 人文与社会科学类 以1919年为上限，选取五四以来的语言材料。 对五四以来各个历史时期的语料采取不等密度选用的方式。 自然科学类 比较通用的中、小学各科教材。 比较通用的具有通论性质的大学各科基础必修课程的教材。 涉及自然科学各个门类的科普读物。 教材 选取当时通用的教材为建库的语言材料。 中小学课本所选内容涉及的各个学科的基本知识 一般为典范的现代汉语作品，应具有相当的普及性、代表性。 语料库选材的历时性 以人文与社会科学类为例 1919 － 1925年， 约占5%。 五四时期的白话文仍留有文言痕迹，选用少量的影响较大的代表性作品。 被选用的作品在行文上要尽量符合现代汉语的规范。 1926 － 1949年， 约占15%。 白话文逐步脱离文言痕迹，现代汉语日趋成熟的时期。 1950 － 1965年， 约占25%。 新中国的成立给社会文化生活带来巨大变化，新词新语大量涌现。 1966 － 1976年， 约占5%。 文革时期的作品，其中许多仅作为历史词语存于现代汉语之中。 1977 － 至今， 占50%以上。 新时期的语料代表了现代汉语的新发展。 每年按选材原则增补300万字左右的语料 语料的通用性原则 作为通用型语料库，应该比较真实地反映现代汉语在文字、词汇、语法、语义等方面的全貌。 在语料的选择上，应当具有区别性特征。 有别于专业性 有别于地域性 有别于纯口语性 尽可能地提高所选语料在采字、采词、采句和采义等方面的广度，要考虑到语料的时间层次、文化层次和社会使用面等层次。 时间层次。 文化层次。以具有高中文化程度的人能够阅读的语料为主。 社会使用面层次。 以社会使用面较为广泛的语料为主，其他语料为辅；以人文与社会科学为主，自然科学为辅；以门类为主，以语体为辅。 语料抽样原则 语言材料的多样性 选用政论性文章、新闻报道、各类文学艺术作品、科普读物、通俗读物、学术专论及各种应用文语体等现代汉语作品。 语言材料