一个新及泛化误差及界指导教师王熙照教授.pptVIP

主要内容 界的推导 设T为输入空间，输入向量 为 x 的密度函数， 目标函数， 为逼近函数。 今后的工作 当 n 趋于无穷大时，能否能找到 的 确切分布. 这个界是否与敏感性有关系？ 将这个界应用到样例选择、结构选择、属性选择中。 * * 一个新的泛化误差的界 指导教师：王熙照 教授 报 告 人：李 杰 课题来源和意义 研究现状及分析 一个新的泛化误差的界 今后的工作 课题来源和意义 一个好的网络要具有好的泛化能力。 决定一个网络的好坏有好多的因素： 训练样例的选择 隐含层中心的选择等。 如果我们能找到一个泛化误差的上界，利用这个上界指导我们去训练网络，从而得到一个具有更好泛化能力的网络。 研究现状及分析 “Localized Generalization Error and Its Application to RBFNN Training” W.W.Y. Ng, D.S. Yeung, D. Wang, E.C.C. Tsang and X-Z Wang 问题:我们认为这个界比较大 1.在界的推导过程中，共用了5次不等式的放大。 利用了Hoeffding Inequality 文中的一个假设：the average of errors of unseen samples in will be larger than the training error of Cauchy Inequality 我们能不能得到一个更小的界？ 2.最重要是是最后一次放的过大。 思想：概率统计中的区间估计的思想。 若 是关于 的对称区间，则我们取单侧不等式有： 也就是说 以 的概率成立， 是 的一上界。 在区间估计中我们可以得到这样的等式： 我们设， 则Y 是一个随机变量，而Y 的数学期望也就是 在整个输入空间T 上的误差，即： 则对 可以看做来自总体 Y 的一个简单随机样本，那么根据中心极限定理，当 时，近似的有 即： 于是，对于给定的 有： 是标准正态分布的临界值。 根据对称性取单侧不等式，可得： 即 以 的概率成立。 而 为经验误差。 则可得下列不等式以 的概率成立。 问题1：在这个界中，总体的标准差 是未知的. 则近似的有： ，从而得到下面的界： 为了解决这个问题，在统计学中，我们用样本标准差 来代替总体标准差 。 以 的概率成立。 问题2：证明过程中用的是 ，当我们 用样本标准差 代替了总体的标准差 后，就不再有： 得到的只是得到它 的近似分布： n 训练样例的个数， 目标函数， 为逼近函数， 经验误差 为 t(n -1)分布的临界值. 结果： 下列不等式以 的概率成立 界的比较1： Data: Iris Bound=0.1056 2.1756 2.1256 2.0761 2.0272 1.9789 1.9312 1.884 1.8375 1.7915 1.7462 RSM 0.2164 0.09 0.2323 0.2012 0.1865 0.1724 0.1589 0.146 0.1337 0.1291 0.1108 RSM1(不包含A) 0.1 0.08 0.07 0.06 0.05 0.04 0.03 0.02 0.01 Q值 界的比较2： Data: Brest Cancer Bound=0.0698 2.1138 2.0486 1.9844 1.9213 1.8592 1.7981 1.7381 1.6791 1.6211 1.56