人工神经网络.pptxVIP

人工神经网络;联结主义学派 ;什么是神经网络;内容;生物学启示; 神经元组成：细胞体，轴突，树突，突触 神经元之间通过突触两两相连。信息的传递发生在突触。 突触记录了神经元间联系的强弱。 只有达到一定的兴奋程度，神经元才向外界传输信息。 ;神经元;神经元;神经元模型;人工神经元;Weighted Sum Radial Distance;;人工神经网络;生物系统中的学习;生物系统中的学习;ANN的学习规则;两个主要问题 结构 How to interconnect individual units? 学习方法 How to automatically determine the connection weights or even structure of ANN?;前馈结构(Feedforward Architecture) - without loops - static 反馈/循环结构(Feedback/Recurrent Architecture) - with loops - dynamic (non-linear dynamical systems);General structures of feedforward networks;通过神经网络所在环境的模拟过程，调整网络中的自由参数 Learning by data 学习模型 Incremental vs. Batch 两种类型 Supervised vs. Unsupervised;若两端的神经元同时激活，增强联接权重 Unsupervised Learning ; 最小化实际输出与期望输出之间的误差(Supervised) - Delta Rule (LMS Rule, Widrow-Hoff) - B-P Learning ;采用随机模式，跳出局部极小 - 如果网络性能提高，新参数被接受. - 否则，新参数依概率接受;“胜者为王”(Winner-take-all ) Unsupervised How to compete? - Hard competition Only one neuron is activated - Soft competition Neurons neighboring the true winner are activated. ;重要的人工神经网络模型;多层感知机(MLP);感知机实质上是一种神经元模型 阈值激活函数 ;判别规则;单层感知机学习;30;多类判别情况;学习: Multiclass Perceptron;感知机特性;感知机存在的问题;改进感知机;线性可分情况;Support Vector Machines;优化学习;单层感知机;单层感知机;单层感知机;单层感知机;多层感知机 (MLP);MLPs表达能力;B-P Network;B-P 算法;B-P 算法;B-P 算法;梯度下降方法;权值更新规则;权值更新规则;权值更新规则;权值更新规则;应用: Handwritten digit recognition;MLPs：讨论;MLPs：讨论; Hopfield 网络;反馈 结构 可用加权无向图表示 Dynamic System 两种类型 Discrete (1982) and Continuous (science, 1984), by Hopfield;吸引子与稳定性;Hopfield网络的能量函数;Hopfield 模型;Hopfield 网络: 联想记忆;Hopfield 网络: Associative Memories;How to store patterns?;How to store patterns?;权值确定: 外积(Outer Product);An example of Hopfield memory ;1;1;1;Hopfield 网络: 组合优化(Combinatorial Optimization);例: Solve Traveling Salesman Problem (TSP);Illustration of TSP Graph;Hopfield Network for TSP;Hopfield Network for TSP;Hopfield Network for TSP;Weight determination for TSP: Design Energy Function;能量函数转换为2DHopfield网络形式;Hopfield网络迭代（TSP ）;自组织特征映射 (SOFM) ;What is SOFM?;Structu