机器学习导论第2章.pptVIP

偏倚与方差 估计d的均方误差 偏倚与方差 方差 偏倚 2.10 回归 数值输出写成输入的函数。假定数值输出是输入的确定性函数与随机噪音的和： 其中 是未知函数，我们用定义在参数 上的估计 来近似它。如果 与估计无关，可省略 等价于最小化 线性回归 关于w0求导 关于w1求导 可以解得 偏倚/方差 trade-off 由某个带噪声的 产生一组数据集 根据每个数据集形成一个估计 现实中 的估计为 则偏倚和方差的估计为 偏倚/方差 trade-off 看以下模型 随着模型复杂度的增加，数据集较小的变化会导致拟合结果的较大变化，因此增加方差。但是复杂模型可以更好的拟合潜在的函数，因此偏倚减少， 习题 为什么使用S和G的平均值作为最终假设比较好？ 假定我们的假设类不是矩形而是圆，那么参数是什么？ 假设椭圆类是否比假设圆类要有意义？为什么？ 如果我们拥有能够给任何实例x提供标记的指导者，那么我们应当在哪里选择x,以便用较少的询问来进行学习？ * * 用{sin(wx)}来学习 * 第二章 监督学习Chapter 2. Supervised Learning 2.1 由实例学习类 2.2 VC维（Vapnik-Chervonenkis Dimension） 2.3 概率逼近正确学习 2.4 噪声 2.5 学习多类 2.6 回归 2.1 由实例学习类 学习“家用汽车”类C 现有一组汽车实例和一组被测人，展示汽车，被测人对汽车标记： 正例：标记为家用汽车 负例：其他类型汽车 机器学习后预测未见过的汽车是否为家用 汽车特征包括 价格、发动机功率、座位数量、车身颜色等。 2.1 由实例学习类 仅考虑价格（x1）和发动机功率（x2） 对于每一辆观测的汽车，可以表示为 所有观测的汽车样本表示为 我们发现价格和发动机功率在某个确定范围内的是家用汽车。 (P1=价格=p2) AND (e1= 发动机功率=e2) 我们的目标是找出假设类H 尽可能的与C接近---找出定义H的四个参数。 假设h 经验风险（误差） 经验风险（误差）是h的预测值与x中给定的预期值不同的训练实例所占的比例： 假正 假负 最特殊假设S 和 最一般假设G介于S和G之间的假设被称为无误差的有效假设。构成假设解空间。 VC维 可以被H散列的点的最大数量成为H的VC维。 当H为二维空间中轴平行的矩形的假设类时，VC（H）=4. 思考1：为什么等于4？而不是5？ 思考2：当假设H为二维空间中的直线时，VC（H）=？ 概率逼近正确学习(PAC) 我们希望我们的假设是近似正确的，即误差概率不超过某个值。 在具有概率分布p（x）的样本中卡，找出N个样本，使得对于任意的 和 ，假设误差至多为 的概率至少为1- 。 （1）N个独立样本不在误差带的概率最多为 （2）因为 （3）如果满足 （4）则有 （5） 2.4 噪声 噪声来源？ 记录输入属性可能不准确。 标记点可能有错。（指导噪声） 可能存在我们没有考虑到的附加属性。这些属性可能是隐藏的或潜在的，是不可以预测的。是一种随机成分 当有噪声时，正负实例之间没有简单的边界。 利用复杂模型，更好地拟合数据，得到零误差。 保持模型的简单性并允许一定误差的存在。 2.5 学习多类 前面的例子是两类问题，扩展到K个类，记为Ci， i= 1,……,K,并且每个输入严格地属于其中一个类，训练集形如： 2.6 回归 2.6 回归 训练集 多项式差值得到函数f，由于噪声 训练集上的经验误差 二手车的例子中 求关于w0和w1的偏导数，令偏导数为0得到： 2.7 模型的选择与泛化 实例学习布尔函数中，输入输出均为2元的。 d个2元值有2d个写法，因此对于d个输入有2d个样本实例，将有22d个可能的布尔函数。 2.7 模型的选择与泛化 学习一个样本的过程是去掉猜测出错的假设。 X1=0, x2=1 输出为0。 去掉了假设h5 h6 h7 h8 h 13 h14 h15. 随着更多的实验样本，逐步去掉与训练数据不一致的假设。 2.7 模型的选择与泛化 如果训练集只包含所有可能实例的一个小子集，那么解不是唯一的。 看到了N个样本，还有22d -N个可能的函数。 不适定问题（ill-posed problem），仅仅靠数据本身不足以找到唯一解。 在其他学习应用中，在分类，回归中也存在同样的问题，我们对潜在的函数了解越多，我们从假设类去掉更多不一致的解，我们还剩下很多一致的解。 2.7 模型的选择与泛化 做特别的假设，使得利用已有数据得到唯一解。 将使学习成为可能所做的假设集称为学习算法的归