统计自然语言处理-第二章-预备知识.ppt

2.1.2 最大似然估计 2.1.5 随机变量 随机变量（random variable） 一个随机试验可能有多种不同的的结果，到底会出现哪一种，存在一定的概率，即随机会而定。简单地说，随机变量就是试验结果的函数。 设X为一离散型随机变量，其全部可能的值为 。那么 ， 称为X的概率函数。显然， ， 有时也称为随机变量X的概率分布，此时，函数 ， 称为X的分布函数。 2.1.7 联合概率分布和条件概率分布 联合概率分布（joint distribution） 假设 为一个二维的离散型随机变量， 全部可能的取值为 ； 全部可能的取值为 那么， 的联合概率分布为 条件概率分布 一个随机变量或向量X的条件概率分布就是在某种给定的条件之下X的概率分布。考虑 在给定 条件下的概率分布，实际是求条件概率 根据条件概率的定义可得 2.17 联合概率分布和条件概率分布 由于 ，故有 类似地， 2.2 信息论的基本概念 2.2.1 熵 2.2.2 联合熵和条件熵 2.2.3 互信息 2.2.4 相对熵 2.2.5 交叉熵 2.2.6 困惑度 2.2.7 噪声信道模型 2.2.2 联合熵和条件熵 2.2.2 联合熵和条件熵 2.2.2 联合熵和条件熵 2.2.2 联合熵和条件熵 2.2.2 联合熵和条件熵 2.2.2 联合熵和条件熵 2.2.2 联合熵和条件熵 2.2.2 联合熵和条件熵 2.2.2 联合熵和条件熵 2.2.2 联合熵和条件熵 2.2.2 联合熵和条件熵 2.2.2 联合熵和条件熵 2.2.2 联合熵和条件熵 2.2.3 互信息 2.2.3 互信息 2.2.3 互信息 2.2.4 相对熵 2.2.4 相对熵 2.2.4 相对熵 互信息实际上就是衡量一个联合分布与独立性差距多大 的测度： 证明： 2.2.5 交叉熵 2.2.5 交叉熵 2.2.5 交叉熵 2.2.6 困惑度 2.2.7 噪声信道模型 2.2.7 噪声信道模型 2.2.7 噪声信道模型 2.2.7 噪声信道模型 2.2.7 噪声信道模型 2.2.7 噪声信道模型 2.2.7 噪声信道模型 2.3 支持向量机 2.3.1 线性分类 2.3.2 线性不可分 2.3.3 构造核函数 2.3 支持向量机 支持向量机 （support vector machine，SVM） 支持向量机是近几年来发展起来的新型分类方法，是在高维特征空间使用线性函数假设空间的学习系统，在分类方面具有良好的性能。 在自然语言处理中，SVM广泛应用于短语识别、语义消歧、文本自动分类和信息过滤等方面。 2.3.1 线性分类 两类问题（正类和负类）的分类通常用一个实数函数 （n为输入维数，R为实数）。通常执行如下操 作：当 时，将输入 赋给正类，否则， 将其赋给负类。 当 是线性函数时， 可以写成如下形式 其中， 是控制函数的参数，决策规则由函数 给出，通常 2.3.1 线性分类 该