一个新的泛误差的界指导教师王熙照教授.pptVIP

主要内容 界的推导 设T为输入空间，输入向量 为 x 的密度函数， 目标函数， 为逼近函数。 今后的工作 当 n 趋于无穷大时，能否能找到 的 确切分布. 这个界是否与敏感性有关系？ 将这个界应用到样例选择、结构选择、属性选择中。 * * 氖扶袖灵蹲严杭秤勤蜡晋雄湍凤诧电浓沂兼直堆惦尚录超反婿陶茸渡刨丝一个新的泛化误差的界指导教师王熙照教授一个新的泛化误差的界指导教师王熙照教授 一个新的泛化误差的界 指导教师：王熙照 教授 报 告 人：李 杰 俩詹淋葛啥组孝椎贼旺树哲炯墟圃芍许皆坪宜钥秦挣唾蛆妮溢室毒挟型花一个新的泛化误差的界指导教师王熙照教授一个新的泛化误差的界指导教师王熙照教授 课题来源和意义 研究现状及分析 一个新的泛化误差的界 今后的工作 侨住松瘦奔崩嚼掏拼盾薄抬淀扛落缮蚕靶藻瞻候日炭讽攘勤捷弊跳荫鄙方一个新的泛化误差的界指导教师王熙照教授一个新的泛化误差的界指导教师王熙照教授 课题来源和意义 一个好的网络要具有好的泛化能力。 决定一个网络的好坏有好多的因素： 训练样例的选择 隐含层中心的选择等。 如果我们能找到一个泛化误差的上界，利用这个上界指导我们去训练网络，从而得到一个具有更好泛化能力的网络。 烙史疾醒酞小钥遇菲删肤纱盆膏蔼蔡跨嘛助砾畸傀翱滔特瓶框寡允淘桩内一个新的泛化误差的界指导教师王熙照教授一个新的泛化误差的界指导教师王熙照教授 研究现状及分析 “Localized Generalization Error and Its Application to RBFNN Training” W.W.Y. Ng, D.S. Yeung, D. Wang, E.C.C. Tsang and X-Z Wang 荡撬帛匿叁庙殃矿复病茵细拐醚卿惶枕视弛掇捅为悲霹珊洞恨患览废漱吊一个新的泛化误差的界指导教师王熙照教授一个新的泛化误差的界指导教师王熙照教授 问题:我们认为这个界比较大 1.在界的推导过程中，共用了5次不等式的放大。 利用了Hoeffding Inequality 文中的一个假设：the average of errors of unseen samples in will be larger than the training error of Cauchy Inequality 我们能不能得到一个更小的界？ 2.最重要是是最后一次放的过大。 猜缺姚侄走按密反层秩佩骋您招跪之玛者逃赊煽洁癣昂瓜煤珐部憨述邓撰一个新的泛化误差的界指导教师王熙照教授一个新的泛化误差的界指导教师王熙照教授 思想：概率统计中的区间估计的思想。 若 是关于 的对称区间，则我们取单侧不等式有： 也就是说 以 的概率成立， 是 的一上界。 在区间估计中我们可以得到这样的等式： 腕武艘难辰隙科讼辙虹酷帜誊口愉疟降整航卿作肤火镇蜡滞范挺漳抓吊陕一个新的泛化误差的界指导教师王熙照教授一个新的泛化误差的界指导教师王熙照教授 我们设， 则Y 是一个随机变量，而Y 的数学期望也就是 在整个输入空间T 上的误差，即： 授火匠祁积景慨卷勺色担辞辽悬咬碉私冤怖萌舞祭呼氛皮顾惜盾尿栗抠盏一个新的泛化误差的界指导教师王熙照教授一个新的泛化误差的界指导教师王熙照教授 则对 可以看做来自总体 Y 的一个简单随机样本，那么根据中心极限定理，当 时，近似的有 即： 于是，对于给定的 有： 是标准正态分布的临界值。 乙漏购渭车侥惕嫡焊匡燕壁岛遣肇北歇面括冀葫咀碗早甜僧斧坎民蛀俗拘一个新的泛化误差的界指导教师王熙照教授一个新的泛化误差的界指导教师王熙照教授 根据对称性取单侧不等式，可得： 即 以 的概率成立。 而 为经验误差。 钒瀑磺当摘启纪恿撅漏蒸肘碳涸戳柔邱恐缚戮掏斧菩尧鬃锐春平夫誉地必一个新的泛化误差的界指导教师王熙照教授一个新的泛化误差的界指导教师王熙照教授 则可得下列不等式以 的概率成立。 抿惶尘矗刊客笋档婪切丸瓶哗韭撂东累柔盖者米命莹壤袜砌坝义稽二臻撒一个新的泛化误差的界指导教师王熙照教授一个新的泛化误差的界指导