第五章人工神经网络模型-Read.ppt

第六章 人工神经网络模型;人工神经元模型，如图所示(threshold);某个神经元 j 的输入—输出关系为其中， 为阀值， 为连接权，f(?)为变换函数，  也称活化函数(activation function)。变换函数的种类有很多种，可参见孙p.126。其中用得最多的是比例函数 y=f(x)=s 和 S-型函数，Sigmoidal function;§6.2 感知器 (perceptron);很显然，正确分割这两类样本的直线 方程为d(z)=0具体的算法如下，用于确定wi和θ 随机给定一组连接权ωi(k), i= 0，1，2。K=0，表示初始值。 任取其中一个样本 为期望的输出值，或者是期望的函数决策值。;按下式调整连接权?0为学习率 在样本集中另选一个样本，并置k+1?k，重复steps (2)-(4) until 为什么？表示此时的d(x)已能正确分类，∴无须修改。这里介绍的感知器，由于只有一层，故而其分类能力非常有限，不能处理XOR问题。 所以在1969年，Minsky和Papert发表了名为Perceptron的专著, 书中指出,这样的简单的线性感知器的功能非常有限，使得随后的研究处于低潮。;;§ 6.3 人工神经网络;比如说BP网，也称MLP，即多层感知器，其网络结构为： 这是一种前馈型网络，CMAC也是一种前馈型网络，但是有点特别。(feedforward network);另一种是反馈型网络NN(neural network)的特点 单个神经元的处理速度，比计算机要慢很多。 大量Neurons 并行处理 容错能力强，部分内容损坏，仍可工作。 BP网的算法见PP133-136请大家考虑一个问题，即除输入层之外的其他层的每个节点的输出=？ 误差如何反向传播?;§ 6.4 BP算法及推导; 是步长,可按下式确定,但实际凭经验. 简单的Delta规则 设有P个样本对, 对于输入 期望输出是 实际输出是 ,所以，Delta规则 其中， ;训练用的性能指标为 ;;带隐含层的BP网;证明 ;;采用Sigmoid激发函数的BP算法 ;1 置各权值和阈值的初值 为小的随机数 2 输入学习样本对 ，对各样本进行（3-5） 3 计算网络各层的输出 4 计算训练误差 5修正权值和阈值momentum term 6 对所有样本训练后，指标是否满足精度要求？ 满足：结束训练。否则，转到（2）继续训练。 ;