人工智能-AI章符号学习.pptVIP

第6章 符号学习 6.1 机器学习的基本概念 6.2 记忆学习 6.3 示例学习 6.4 决策树学习 6.5 统计学习 统计学习是一种基于小样本理论的学习方法，其典型方法是支持向量机（Support Vector Machine. SVM） 。 6.5.1 小样本统计学习理论 6.5.2 支持向量机 小样本统计学习理论一种以有限样本统计学理论为基础进行统计学习的理论。其核心是结构风险最小化原理，涉及的概念主要包括经验风险、期望风险和VC维等。 6.5.1 小样本统计学习理论 1. 期望风险和经验风险(1/2) 期望风险 统计学习是要根据给定的训练样本，求出用联合概率分布函数P(x, y)表示的输入变量集x和输出变量集y之间未知的依赖关系，并使期望风险最小。 设有n个独立且同分布（即具有相同概率分布）的训练样本 （x1, y1），（x2, y2），…，（xn, yn） 在一个函数集{ f(x, w) }中求出一个最优函数f(x, w0)，使得系统用该函数对依赖关系进行估计时期望风险 为最小。 其中，w为函数的广义参数；f ( x,w )为学习函数集（或预测函数集），它可以表示任何函数集，用于从x预测y，目的是通过对训练样本的学习得到一个最优函数f ( x,w0 )；L( y, f( x, w ) )为损失函数，表示因预测失误而产生的损失，该函数的具体表示形式与学习问题的类型有关。 （6.1） 6.5.1 小样本统计学习理论 1. 期望风险和经验风险(2/2) 对期望风险进行估计。 经验风险则是用样本损失的算术平均值进行计算的。 统计学习的目标就是要设计学习算法，使得该经验风险最小化。这一原理也称为经验风险最小化原理。 经验风险 对上述期望风险函数，由于其中的概率分布函数P(x, y)未知，因此无法直接对其进行计算。常用的方法是利用经验风险函数 （6.2） (1) 打散操作 6.5.1 小样本统计学习理论 2. VC维(1/3) VC维是小样本统计学习理论中的又一个重要概念，用于描述构成学习模型的函数集合的容量及学习能力。通常，其VC维越大、容量越大、学习能力越强。 由于VC维是通过“打散”操作定义的，下面先讨论打散操作。 样本集的打散（shatter）操作可描述如下： 假设X为样本空间，S是X的一个子集，H是由指示性学习函数所构成的指示函数集。对一个样本集S，若其大小为h，则它应该有2h种划分，假设S中的每一种划分都能被H中的某个指示函数将其分为两类，则称函数集H能够打散样本集S。 所谓指示性学习函数是指其值只能取0或1的学习函数。 6.5.1 小样本统计学习理论 2. VC维(2/3) 例6.10 对二维实空间R2，假设给定的样本集S为R2中的不共线的3个数据点，每个数据点有两种状态，指示函数集H为有向直线的集合，求H是否可以打散S？ 解： S中不共线的3个数据点可构成23种不同的点集，如图6.10所示。在该图中，可以看出，每一点集中的数据点，都能被H中的一条有向直线按其状态分为两类。即位于有向直线正方向一侧的数据点为一类，而位于有向直线负方向一侧的数据点为另一类。因此，我们说H能够打散S。 图6.10 在R2中被H打散的3个数据点 (2) VC维的确定 6.5.1 小样本统计学习理论 2. VC维(3/3) VC维用来表示指示函数集H能够打散一个样本集S的能力，其值定义为能被H打散的X的最大有限子集的大小。若样本空间X的任意有限大的子集都可以被H打散，则其VC为∝。 例如，对前面给出的例6.10，指示函数集H中的有向直线能够将大小为3的X的子集S打散，但却不能打散的4个点，如图6.11，因此该H的VC维至少为3。 可见，在R2中，由有向直线构成的指示函数集H，所能打散的R2的最大子集为3，因此H的VC维为3. 需要指出的是，目前还没有一套关于任意H的VC维的计算理论，只是对一些特殊空间，才知道其VC维。例如，对n维空间，知道其VC维为n+1。 图6.11 在R2中不能被H打散的4个点 6.5.1 小样本统计学习理论 3. 结构风险最小化原理 其中，h为VC维，n为样本数，η为满足0≤η≤1的参数。可以看出，期望风险由两部分所组成：一是基于样本的经验风险，即训练误差；二是置信范围，即期望风险与经验风险差值的上确界。 后者反映了结构复杂度所带来的风险，它和VC维h及训练样本数有关。若定义 可见，当训练样本有限时，VC维越高，经验风险和期望风险的差别就会越大。即对统计学习，不仅要使经验风险最小化，还要降低VC维，以缩