自然語言处理Natural Language Processing(NLP).pptVIP

自然语言处理Natural Language Processing(NLP) 陈家骏，戴新宇 chenjj@ dxy@ 主要内容（1） 自然语言处理概述 什么是自然语言处理 自然语言处理技术的应用 自然语言处理的基本策略和实现方法 自然语言处理的难点 自然语言处理所涉及的学科 基于规则的自然语言处理方法（理性方法，传统方法） 基于词典和规则的形态还原（英语等）、词性标注以及分词（汉语、日语） 基于CFG（上下文无关文法）和扩充的CFG（复杂特征集、合一运算）的句法表示及其分析技术 基于逻辑形式和格语法的句义分析 基于规则的机器翻译 主要内容（2） 基于语料库和统计学习的自然语言处理方法（经验方法） 语言模型（N元文法） 分词、词性标注（序列化标注模型） 句法分析（概率上下文无关模型） 文本分类（朴素贝叶斯模型、最大熵模型） 机器翻译 (IBM Model) 主要内容（3） 所需的前导知识 编译技术 概率与统计 参考书籍 宗成庆，统计自然语言处理，清华大学出版社，2008 刘群等译，自然语言理解（第二版），电子工业出版社，2005 苑春法等译，统计自然语言处理基础，电子工业出版社，2005 冯志伟等译，自然语言处理综论，电子工业出版社，2005 黄昌宁等，语料库语言学，商务印书馆，2002 冯志伟，计算语言学基础，商务印书馆，2001 余士文，计算语言学概论，商务印书馆，2003 姚天顺，自然语言理解－－一种让机器懂得人类语言的研究（第2版），清华大学出版社，2002 王小捷等，自然语言处理技术基础，北京邮电大学出版社,2002 刘颖，计算语言学，清华大学出版社，2002 赵铁军等，机器翻译原理，哈尔滨工业大学出版社，2000 宗成庆等译，统计机器翻译，电子工业出版社，2012 Bonnie J. Dorr, et al, Survey of Current Paradigms in Machine Translation，Technical Report LAMP-TR-027, Language and Media Processing Lab, University of Maryland. Hutchins WJ, Machine Translation: Past, Present, Future. Chichester: Ellis Horwood, 1986 Arturo Trujillo, Translation Engines: Techniques for Machine Translation, Springer-Verlag London Limited 1999 Peter F. Brown, et al., A Statistical Approach to MT, Computational Linguistics, 1990,16(2) P.F. Brown, et al., The Mathematics of Statistical Machine Translation: Parameter Estimation, Computational Linguistics, 1993, 19(2) 课程考核 Projects 提交要求（每个project） 报告（说明基本做法） 源程序及可运行的程序 自然语言处理概述 什么是自然语言处理 充分利用信息将会给人们带来巨大的收益，而大量的信息以自然语言形式（英语、汉语等）存在。 如何有效地获取和利用以自然语言形式出现的信息？ 自然语言处理（Natural Language Processing，简称NLP）是指用计算机对语言信息进行处理的方法和技术。 与NLP相近的两个研究领域： 自然语言理解(Natural Language Understanding, NLU)：强调对语言含义和意图的深层次解释 计算语言学(Computational Linguistics, CL)：强调可计算的语言理论 NLP技术的应用 机器翻译 自动摘要 文本分类 信息检索 信息抽取 情感分析 自动问答 ...... 机器翻译（Machine Translation） 机器翻译（Machine Translation，简称MT）是指利用计算机实现自然语言（英语、汉语等）之间的自动翻译。 文本机器翻译 语音机器翻译 机器辅助翻译（Machine Aided Translation或Computer Aided Translation，简称MAT或CAT） 翻译记忆体（Translation Memory，简称TM） 双语对照的文本编辑 ... 自动摘要（Text Summarization） 利用计算机自动地从原始文档中提取全面准确地反映该文档中心内容的简单连贯的短文。