前向人工神经网络敏感性研究.pptxVIP

前向人工神经网络敏感性研究第1页/共39页 2一. 引言 1. 前向神经网络(FNN)介绍 ●神经元 – 离散型：自适应线性元（Adaline） – 连续型：感知机（Perceptron） ●神经网络 – 离散型：多层自适应线性网（Madaline） – 连续型：多层感知机（BP网或MLP）第2页/共39页 3 ●问题 – 硬件精度对权的影响 – 环境噪音对输入的影响 ●动机 – 参数的扰动对网络会产生怎样影响？ – 如何衡量网络输出偏差的大小？2. 研究提出第3页/共39页 4 ●建立网络输出与网络参数扰动之间的关系 ●分析该关系，揭示网络的行为规律 ●量化网络输出偏差3. 研究内容第4页/共39页 5 ●指导网络设计，增强网络抗干扰能力 ●度量网络性能，如容错和泛化能力 ●研究其它网络课题的基础，如网络结构的 裁剪和参数的挑选等4. 研究意义第5页/共39页 6Madaline的敏感性 ●n维几何模型（超球面） M. Stevenson, R. Winter, and B. Widrow, “Sensitivity of Feedforward Neural Networks to Weight Errors,” IEEE Trans. on Neural, Networks, vol. 1, no. 1, 1990. ●统计模型（方差） S. W. Piché, “The Selection of Weight Accuracies for Madalines,” IEEE Trans. on Neural Networks, vol. 6, no. 2, 1995.二.研究纵览（典型方法和文献） 第6页/共39页 7 ●分析方法（偏微分） S. Hashem, “Sensitivity Analysis for Feed- Forward Artificial Neural Networks with Differentiable Activation Functions”, Proc. of IJCNN, vol. 1, 1992. ●统计方法（标准差） J. Y. Choi C. H. Choi, “Sensitivity Ana- lysis of Multilayer Perceptron with Differ- entiable Activation Functions,” IEEE Trans. on Neural Networks, vol. 3, no. 1, 1992.2. MLP的敏感性第7页/共39页 8 ●输入属性筛选 J. M. Zurada, A. Malinowski, S. Usui, “Perturbation Method for Deleting Redundant Inputs of Perceptron Networks”, Neurocomputing, vol. 14, 1997. ●网络结构裁减 A. P. Engelbrecht, “A New Pruning Heuristic Based on Variance Analysis of Sensitivity Information”, IEEE Trans. on Neural Networks, vol. 12, no. 6, 2001.3. 敏感性的应用第8页/共39页 9 J.L. Bernier et al, “A Quantitive Study of Fault Tolerance, Noise Immunity and Generalization Ability of MLPs,” Neural Computation, vol. 12, 2000. ●容错和泛化问题第9页/共39页 10三. 研究方法1. 自底向上方法 ●单个神经元 ●整个网络2. 概率统计方法 ●概率（离散型） ●均值（连续型）3. n-维几何模型 ●超矩形的顶点（离散型） ●超矩形体（连续型）第10页/共39页 11四.已获成果（代表性论文） ●敏感性分析： “Sensitivity Analysis of Multilayer Percep- tron to Input and Weight Perturbations,” IEEE Tr