基于局部泛化误差界的RBF网络训练方法研究报告人课件.pptVIP

基于局部泛化误差界的RBF网络训练方法研究 报告人：刘晓艳 主要内容 课题来源及背景和意义 研究现状及分析 所做的工作 遇到的问题及进一步的工作 参考文献 课题来源及背景和意义 RBF神经网络的结构选择中，即隐含层神经元个数的确定问题，一直是难点。合理的选择其结构会提高RBF神经网络的泛化能力。 局部泛化误差模型，考虑分类器在输入空间局部区域上的泛化能力。对于量化的考察对于网络的容错能力（error-tolerance）和泛化能力(generalization ability) 有一定启发意义。 神经网络的敏感性标示着这种分类器的variance特性，而经验误差的大小则是标示着分类器的bias特性，将两者有机的结合起来作为一种评价分类器泛化能力的标准可能会有很好的效果。（criteria） 研究现状及分析 介绍局部泛化误差模型现状 敏感性SM (sensitivity measure) 敏感性定义及其计算 定义：衡量网络输出对于输入或权重（或其他的参数）的扰动而改变程度的定量度量。 敏感性的应用 正是由于敏感性考察网络各参数的变化对于网络输出的影响程度，因而，基于敏感性分析来优化或调整各参数的选择即成为它的主要应用方向。 研究现状及分析 现存的局部泛化误差模型理论 研究现状及分析 现存的局部泛化误差模型用于RBFNN的结构选择 研究现状及分析 所做的工作 将经验误差项和敏感性项的加和做为一种新的评价分类器泛化能力的标准（QNB－Q neighborhood balance）。考察其合理性。 将QNB用于RBFNN的结构选择，设计网络结构。 用范数形式简化现有的局部泛化误差模型的分析表达式。得到一种基于范数的局部泛化误差界的分析式。 QNB作为一个衡量分类器评价标准的合理性 QNB作为一个衡量分类器评价标准的合理性 QNB作为一个衡量分类器评价标准的合理性(实验) QNB作为一个衡量分类器评价标准的合理性(实验) QNB用于RBFNN的结构选择(architecture selection) 初步实验情况 初步实验情况 初步实验情况 遇到的问题及进一步的工作 实验结果显示了算法的可行性，在保证分类精度的前提下，最后选择的隐含层个数比较少，网络结构比较精简。 SM(sensitivity measure)与RBFNN的隐含单元个数之间的关系描述为：小振荡爬升。（非严格单调）这样，SM作为网络复杂程度的度量的话是比较粗的估计。QNB作为measure for classifier generalization capability的理论依据。 目前QNB中的两项采用的线性组合的方式，能否考虑用其他方式将这两参数信息融合后作为一个新的参量标准，用RBFNN的architecture selection如何？ QNB能否用于对于RBFNN中心位置的选择？（Supervised learning） 参考文献 [1]D. Shi, D.S. Yeung, J. Gao “Sensitivity analysis applied to the construction of radial basis function networks”,Neural Networks 18 (2005) 951–957 [2] Wing W.Y.Ng, Daniel S.Yeung, Ian Cloete, “Quantitative Study on Effect of Center Selection to RBFNN Classification Performance”, 2004 IEEE International Conference on Systems, Man and Cybernetics. [3] Wing W.Y. NG, Daniel S. YEUNG, Xi-Zhao Wang, “Localized Generalization Error and Its Application to RBFNN Training”, Proceedings of the Fourth International Conference on Machine Learning and Cybernetics, Guangzhou, 18-21 August 2005 [4] Friedhelm Schwenker, Hans A. Kestler, Gunther Palm,“Three learning phases for radial-basis-function networks”, Neural Networks 14 (2001) 439-458. [5]Wing W.Y. NG, Daniel S. YEU