第3讲语言模型刘群.pdf

计算语言学 第3讲语言模型（二） 刘群 中国科学院计算技术研究所 liuqun@ict.ac.cn 中国科学院研究生院2009年春季课程讲义 内容提要 计算语言学讲义(03)语言模型(二) 2 内容提要 计算语言学讲义(03)语言模型(二) 3 内容提要 • 规则方法和统计方法 • 统计基础知识 • 什么是统计语言模型 • 常用的统计语言模型 • N元语法模型（定义、应用、参数估计） • 平滑算法 • 隐马尔可夫模型 计算语言学讲义(03)语言模型(二) 4 规则方法和统计方法(1) • 最早期的机器翻译系统主要采用了一些简单的 统计方法，根据词频和搭配的概率选择译文词 和调整词序 • 1970～1980年代，随着Chomsky语言学和人 工智能的兴起，规则方法逐渐占据了主流 • 1980年代后期到1990年代初开始，统计方法 重新崛起，并且在1990年代中期出现了一次经 验主义与理性主义的论战 • 随着时间的推移，人们逐渐认识到，统计方法 和规则方法并不是对立的，二者可以互为补 充，缺一不可，关键问题是如何融合 计算语言学讲义(03)语言模型(二) 5 规则方法和统计方法(2) • 经验主义和理性主义是两种不同的语言学思 潮，具有相当的哲学思辨意味 – 经验主义认为语言主要是一种经验的习得 – 理性主义认为人的语言机制是天生的，后天的学习 只是参数的调整 • 个人观点：统计方法和规则方法都是计算的手 段。简单地把规则方法归结于理性主义方法， 统计方法归结于经验主义方法，是把工具层面 的问题上升到了哲学层面，是不合适的。 计算语言学讲义(03)语言模型(二) 6 概率统计基本概念 • 样本空间 • 期望与方差 • 事件、随机变量 • 概率分布 • 概率 • 协方差、相关系数 • 条件概率 • 参数估计 • 联合概率 • 极大似然估计 • 独立事件 • 随机过程 • 贝叶斯原理 • 马尔科夫过程 计算语言学讲义(03)语言模型(二) 7 信息论基本概念 • 信息量 • 互信息 • 熵 • 联合熵、条件熵 • 交叉熵 • 困惑度、混乱度Perplexity • 噪声信道模型 计算语言学讲义(03)语言模型(二) 8 实验数据 • 训练集Training Set – 用来获得模型参数 • 测试集Test Set – 从训练集以外独立采样 – 反映系统面对真实世界的处理能力 • 封闭测试与开放测试 •