自然語言处理之语言学基础.pptVIP

自然语言处理之语言学基础 周国栋苏州大学自然语言处理实验室/ 2012年12月21日 1 研究背景和意义 Quote by Fred Jelinek Every time I fire a linguist, the performance of our speech recognition system goes up. Under his situation, it is correct. Generally, it is wrong. Quote about Fred Jelinek He was not a pioneer of speech recognition, he was the pioneer of speech recognition.- Steve Young (2010). 研究背景和意义 语言学之于自然语言处理 研究对象：自然语言 研究重点：描述、解释=》可计算性 = 数学之于机器学习 数学是机器学习的基础 机器学习不是数学的一个分支 机器学习不是数学的一个扩展 研究背景和意义 自然语言：定义 自然语言是人类籍以思维和交际的一个音行义相结合的符号系统，是一个变动的音行义相结合的结构系统。 自然语言：三个方面 语言本体 声音、形式和意义相结合的符号系统。 变动的结构（整体、成分、关系）。 语言功用 人类最重要的交际工具和信息载体。 人类赖以思维的工具，思维的物质外壳。 语言的表现形式 口语：语言的最基本形式。 书面语：将语言用文字记录下来加以提炼加工（语言的代用品）。 体态语（手势语、唇语） 自然语言处理基础 语言学 人工智能 形式化理论、机器学习 数学 概率、统计、信息理论 认知科学 认知语言学、心理（思维）语言学 社会学 社会语言学 研究背景和意义 5 ~18世纪末：附属于比较语文学 研究古代文献 18世纪末~20世纪初：语言学成为独立学科 历史比较语言学：研究语言之间的亲属关系 20世纪初~20世纪60年代：探索人类语言普遍规律 结构主义语言学 Sassure：“语言是形式而不是实质”，是由单位和关系构成的系统。 转换生成语法 Chomsky：所有人类语言的语法系统在高度抽象的层次上都大致 相同，由所谓的普通语法经过一定的变化派生出来的。 20世纪60年代至今：深入探索语言的本体与功用 形式语言学 包括结构主义语言学、Chomsky形式语言学、非Chomsky形式语言学 Chomsky：侧重语言本体，强调意义通过形式体现。 功能语言学 Halliday：侧重语言功用，强调意义通过功能体现。 学科基础：语言学 6 ~18世纪末：附属于比较语文学 研究古代文献 18世纪末~20世纪初：语言学成为独立学科 历史比较语言学 20世纪初~20世纪60年代：探索人类语言普遍规律 结构主义语言学 转换生成语法 20世纪60年代至今：深入探索语言的本体与功用 形式语言学 功能语言学 学科基础：语言学 7 历史比较语言学 以历史比较法为基础，研究语言之间的亲属关系。 把各种语言放在一起加以共时比较，或者对同一种语言的历史发展的各个不同阶段进行历时比较，以找出它们之间在语音、词汇、语法上的对应关系和异同。 为现代语言学的建立奠定了坚实的基础，是语言学走上独立发展道路的标志。 代表人物 德国语言学家：J. Grimn/W.Grimn、F. Bopp 丹麦语言学家：R. Rask 学科基础：历史比较语言学 8 ~18世纪末：附属于比较语文学 研究古代文献 18世纪末~20世纪初：语言学成为独立学科 历史比较语言学 20世纪初~20世纪60年代：探索人类语言普遍规律 结构主义语言学 转换生成语法 20世纪60年代至今：深入探索语言的本体与功用 形式语言学 功能语言学 学科基础：语言学 9 F. de Saussure（现代语言学鼻祖） 精通法语、德语、英语、梵语、拉丁语、希腊语、 哥特语、立陶宛语、古高地德语等语言。 《普通语言学教程》（1916）：开山之作 主张区分共时语言学与历时语言学，强调共时语言学。 共时语言学（横向）：语言（同质的、抽象的语言形式） 历时语言学（纵向）：言语（异质的、五花八门的话语） 理论贡献：语言是一个符号系统 语言是一种符号，它的意义产生于符号系统内部的关系中。 “语言是形式而不是实质”，是由单位和关系构成的系统。研究语言就是确定语言单位，确定单位之间的关系以及单位之间的组合规则。 vs伽利略（改变了人类对物质世界的认识） 老三论：系统论、信息论和控制论 新三论：协同论、突变论和耗散结构论 学科基础：结构主义语言学 10 三大学派 布拉格学派 哥本哈根学派 美国描写语言学派 学科基础：结构主义语言学 11 布拉格学派：（结构-）功能学派 主要观点 主张从结构和功能两个方面来