现代汉语词义标注语料库研究与开发 .pptVIP

现代汉语词义标注语料库的研究与开发 吴云芳 北京大学计算语言学研究所 2005-08-15 * 报告提纲 目标 总体思路 辅助软件 成果展示 难点分析 * 目标 建成2－3个具有国际先进水平（或规模最大）的数据资源库并制定相应的规范或标准。 —— 973项目“数字内容理解的理论与方法”预期目标之一 我们的目标：建设成为规模最大、质量上乘的具有国际先进水平的现代汉语词义标注语料库。 具体运用意义：是词义自动消歧（WSD）的数据基础,进而提升信息检索、机器翻译等系统的应用水平。是现代汉语词汇语义研究的资源库。 * 总体思路——粗粒度到细粒度的两步走策略 1. 粗粒度标注—— 基于《现代汉语语法信息词典》中的“同形”信息 填补《现代汉语语法信息词典》和语料库的缝隙 2. 细粒度标注—— 在“同形”基础上进行更适应于语言信息处理的义项区分 * 现代汉语语义词典（含6万实词）—— 《现代汉语语法信息词典》的扩充，面向机器翻译。 动词库部分信息样例（增加了“义项”等字段） 词语 词类 同形 义项 语义类 释义 英译 配价 主体 客体 与事 冲 v A 1 创造 冲茶 make (tea) 2 人 固饮 冲 v A 2 促变 冲胶卷 develop (a film) 2 人 材料 冲 v A 3 促变 冲盘子 rinse (a plate) 2 人 器皿 冲 v B 位移 冲锋 charge 1 动物 * 总体思路——语义词典和词义标注语料的互动构建 语义词典 词义标注语料库 词语多义区分 词义自动消歧 1.词语义项的区分 一个词可以分割为几个义项？ 2.真实文本中词语义项的确定 在一定上下文中这个词语表示什么意义？ * 总体思路——语义词典和词义标注语料的互动构建 语义词典 词义标注语料 词义标注 义项区分 面向大规模真实文本的 词语义项标注规范 一方面依据《语义词典》中的义项信息对语料中的多义词进行词义标注，一方面依据词语在语料中的句法表现（syntactic behavior）对词典中的义项区分作出调整，词典和语料形成一个互动良性的发展。 * 总体思路——词义标注语料的滚雪球似增长 基本标注语料 （词语切分、 词性标注） 人工词义标注 小规模 词义标注语料库 机器学习 词义自动消歧 人工校对 大规模 词义标注语料库 * 词义标注校对辅助软件 体现了总体思路， 提高了工作效率。 * * * * 成果展示——词义标注语料库 从/p 科学/a 的/u 苍穹/n 上{shang5}/f!B$ ，/wd 采/v 来/v!4-4 日辉/n 、/w 月华/n 、/w 星/n 芒/Ng ，/wd 每天/r 为{wei4}/p!B1$ 我/r 的/u 祖国/n ，/wd 深情/d 献/v 一/m 掬/q 科技/n 之/u 光/n 。/wj ”/w 这/r 是/v!B1$ 大家/r 的/u 座右铭/n 。/wj 有人/r 对/p 《/wkz 科技/n 之/u 光/n 》/w 做/v!2$ 过/u 这样/r 的/u 评价/v ：/w “/w 长城/n!0-2 上{shang5}/f!B$ 的/u 每/r 一/m 块/q!1$ 砖/n 拆/v 下来/v 单独/d 看{kan4}/v!B2-1 ，/wd 是/v!B1$ 普通/a 甚至/c 粗糙/a 的/u ，/w 但/c 垒/v 在/p 一起/s 却/d 变/v!1$ 得/u 蔚为/v 壮观/a ，/w 令/v 人/n 惊叹/v 。/w ”/w 今天/t 《/w 科技/n 之/u 光/n 》/w 已经/d 成/v 了/u 在/p 国内外/s 有/v!1$ 一定/b 知名度/n 的/u 电视/n 品牌/n 。/w * 成果汇总 在《人民日报》基本标注语料的基础上： 1. 完成了 270 万语料的同形标注； 2. 完成了 46 个动词的义项区分， 并标注 8639 义项； 3. 完成了 150 个名词的义项区分， 并标注 6000 多义项； 4. 正在进行形容词义项区分和标注。 * 难点分析 语义词典 词义标注语料库 词语多义区分 词义自动消歧 1.词语义项的区分 一个词可以分割为几个义项？ 2.真实文本中词语义项的确定 在一定上下文中这个词语表