中文信息处理应用基础研究课题研讨会综合型语言知识库的建设与利用.pptVIP

中文信息处理应用基础研究课题研讨会综合型语言知识库的建设与利用 俞士汶 北京大学信息科学技术学院 北京大学计算语言学研究所 E-mail: yusw@pku.edu.cn 2003 年 12 月 11 日 主　要　内　容 1.自然语言处理与语言知识库 2.北大现有的语言数据资源 3.关于综合型语言知识库的规划 4.基于数据资源的语言知识挖掘 5.结语和谢词 语言知识库是自然语言处理系统不 可或缺的组成部分。 语言知识库的规模和质量在很大程 度上决定了自然语言处理系统的成败， 对于中文信息处理和汉语理解尤其如此。 面向自然语言处理的语言知识库也 是语言本体研究与语言教学的重要资源。 2.北大现有的语言数据资源 关于《现代汉语语法信息词典》 《现代汉语语法信息词典》是一部面 向语言信息处理的大型电子词典。它按 照语法功能和意义结合的准则收录了 7.3万余词语。依照语法功能分布的原 则，建立了词类体系，完成了这7.3万词 语的归类。并在此基础上，分类描述每 个词语的各种语法属性。 引自中国工程院编《20世纪我国重大工程技术成就》 之第二项汉字信息处理与印刷革命 暨南大学出版社2002年第一版31页 2.北大现有的语言数据资源 2.北大现有的语言数据资源 语言知识库建设的基本理念： （1）规模要足够大 （2）质量是语言知识库的生命线 （3）语言知识及其表述形式独立于信息处理系统 和实现算法 （4）基于规则的方法和基于统计并举； 反过来，又促进了这两种方法的发展。 2.北大现有的语言数据资源 基于基础研究的自身发展规律和应用系统开发的需求，至少还有以下两件事要做： （1）关于综合型语言知识库的规划 （2）基于数据资源的语言知识挖掘 这就是北大计算语言所请缨承担的“中文信息处理应用基础研究” 之子课题的任务。 3.关于综合型语言知识库的规划（任务1） 3.关于综合型语言知识库的规划（任务1） 3.关于综合型语言知识库的规划（任务1） 3.关于综合型语言知识库的规划（任务1） 从语言数据资源挖掘出更多、更深入的语言知识，是有普遍意义的应用，更加符合应用基础研究的宗旨。 从现有的语言数据资源可以获取词汇、句法、语义、篇章、双语 等不同层次、不同类型的语言知识。 今天只涉及词汇知识。 词汇知识的挖掘 （1） 词频统计 （2） 分布均匀性计算 （3） 词的概率属性描述 （4） 词义消歧 已经在千万字量级的语料库上得到带词性的词频统计（视切分单位为词语，基本上是句法词）。 WSD(Word Sense Disambiguation) WTD(Word Translation Disambiguation) 热点课题——自然语言理解的必由之路。 基础：（1）基本标注语料库 （2）中文概念词典CCD 目标：（1）在一定规模的语料库中标出 每个名词、动词在CCD中的位置 （表征概念——词义） （2）词义标注软件（规则、统计并用） 自然语言处理领域，研究课题不胜枚举。 除“歧义、指代、省略”等，“隐喻（Metaphor）”也必须面对。 “铁公鸡”、“空手套白狼”、“不入虎穴，焉得虎子” “郎平是中国女排的铁榔头” “打起黄莺儿，莫教枝上啼。啼时惊妾梦，不得到辽西。” “路漫漫其修远兮，吾将上下而求索。” 多方支持，长达17年的积累，过程缓慢。 期盼得到更有力的支持。 既有本所师生的辛劳，也有协作单位的奉 献，寻求更多的合作伙伴。加盟ChineseLDC。 衷心感谢各位的关注与指导。 谢谢！ * 1.自然语言处理与语言知识库