文本结构化技术的初步实现与中文缩略语还原技术初探课件.pptVIP

文本结构化技术的初步实现与中文缩略语还原技术初探 指导教师：俞士汶教授 学生：支流 * * 内容提要 文本结构化技术 建设结构化语料库的必要性 文本结构化技术实现 中文缩略语还原技术初探 中文缩略语的研究意义 中文缩略语分类框架 朴素的缩略语还原技术 缩略语知识库的建设 * 内容提要 文本结构化技术 建设结构化语料库的必要性 文本结构化技术实现 中文缩略语还原技术初探 中文缩略语的研究意义 中文缩略语分类框架 朴素的缩略语还原技术 缩略语知识库的建设 * 综合型语言知识库简介 语法词典 标注语料库 句法知识 语义词典 概念词典 语义知识 词库 短语规则库 日常用语 术语库－专业用语 单语 平行语料库－双语 现代汉语 古诗－古代汉语 语法词典 标注语料库 * 语法信息词典与语料库之间的缝隙 词语 词类 同形 拼音 频次 例句 注 抄 v A chao1 照原稿写 抄 v B chao1 走近道 此类/r 编著/v 内容/n 是/v 抄/v 自/p 别人/r 的/u 炮兵/n 学院/n 原来/d 围墙/n 残缺/v ，/w 周边/n 群众/n 进城/v ，/w 习惯/v 抄/v 近道/n 。/w 文本文件与数据库文件的对应较麻烦 “词语＋词类＋同形”为主关键项的数据库文件 进行了词语切分和词类标注的文本文件 * 结构化语料库的格式 切分单位 长 年 月 日 版 篇 段 句 位 01-002-001/m 21 1998 12 01 01 02 001 01 00 圆满/ad 07 1998 12 01 01 02 001 01 01 结束/v 06 1998 12 01 01 02 001 01 02 对/p 04 1998 12 01 01 02 001 01 03 俄罗斯/ns 09 1998 12 01 01 02 001 01 04 和/c 04 1998 12 01 01 02 001 01 05 日本/ns 07 1998 12 01 01 02 001 01 06 的/u 04 1998 12 01 01 02 001 01 07 访问/vn 07 1998 12 01 01 02 001 01 08 01-002-002/m 21 1998 12 01 01 02 002 01 00 江/nr 05 1998 12 01 01 02 002 01 01 泽民/nr 07 1998 12 01 01 02 002 01 02 …… ? ? ? ? ? ? ? ? ? 结构化语料库可以方便地进行语料库上的各项数据统计。 例如统计某个时间段某个词出现的频度。 * 内容提要 文本结构化技术 建设结构化语料库的必要性 文本结构化技术实现 中文缩略语还原技术初探 中文缩略语的研究意义 中文缩略语分类框架 朴素的缩略语还原技术 缩略语知识库的建设 * 结构化文本技术的实现 结构化文本技术的实现几大特点 可以让用户自主选择需要的属性项 有两种输出文件格式供用户选择 * 结构化文本技术的实现 * 结构化文本技术的实现 * 内容提要 文本结构化技术 建设结构化语料库的必要性 文本结构化技术实现 中文缩略语还原技术初探 中文缩略语的研究意义 中文缩略语分类框架 朴素的缩略语还原技术 缩略语知识库的建设 注：论文中的缩略语部分节选已经被第八届“全国计算语言学联合学术会议”录用 * 中文缩略语的研究意义 缩略语是自然语言的重要组成部分，缩略语规律的探索和缩略语还原是973项目“文本内容理解的数据基础 ”的重要组成部分 与香港大学合作项目，为多语言缩略语共同规律研究提供数据基础和技术借鉴 * 中文缩略语的研究意义（二） 研究达到的最终目标的缩略语的还原和生成，即为缩略语的解码和编码 近期目标是切分标注好的语料中的缩略语还原 * 内容提要 文本结构化技术 建设结构化语料库的必要性 文本结构化技术实现 中文缩略语还原技术初探 中文缩略语的研究意义 中文缩略语分类框架 朴素的缩略语还原技术 缩略语知识库的建设 注：论文中的缩略语部分节选已经被第八届“全国计算语言学联合学术会议”录用 * 根据缩略语和全称的对应方式分类 一对一：北大 北京大学 一对多：人大 人民大学