神经网络详解.ppt

关于神经网络详解概述Rumelhart，McClelland于1985年提出了BP网络的误差反向后传BP(BackPropagation)学习算法BP算法基本原理利用输出后的误差来估计输出层的直接前导层的误差，再用这个误差估计更前一层的误差，如此一层一层的反传下去，就获得了所有其他各层的误差估计。J.McClellandDavidRumelhart第2页,共29页，星期六，2024年，5月BP神经网络模型三层BP网络第3页,共29页，星期六，2024年，5月BP神经网络模型激活函数必须处处可导一般都使用S型函数使用S型激活函数时BP网络输入与输出关系输入输出第4页,共29页，星期六，2024年，5月BP神经网络模型输出的导数根据S型激活函数的图形可知,对神经网络进行训练，应该将net的值尽量控制在收敛比较快的范围内第5页,共29页，星期六，2024年，5月BP网络的标准学习算法学习的过程：神经网络在外界输入样本的刺激下不断改变网络的连接权值,以使网络的输出不断地接近期望的输出。学习的本质：对各连接权值的动态调整学习规则：权值调整规则，即在学习过程中网络中各神经元的连接权变化所依据的一定的调整规则。第6页,共29页，星期六，2024年，5月BP网络的标准学习算法-算法思想学习的类型：有导师学习核心思想：将输出误差以某种形式通过隐层向输入层逐层反传学习的过程：信号的正向传播误差的反向传播将误差分摊给各层的所有单元－－－各层单元的误差信号修正各单元权值第7页,共29页，星期六，2024年，5月BP网络的标准学习算法-学习过程正向传播：输入样本－－－输入层－－－各隐层－－－输出层判断是否转入反向传播阶段：若输出层的实际输出与期望的输出（教师信号）不符误差反传误差以某种形式在各层表示－－－－修正各层单元的权值网络输出的误差减少到可接受的程度进行到预先设定的学习次数为止第8页,共29页，星期六，2024年，5月BP网络的标准学习算法网络结构输入层有n个神经元，隐含层有p个神经元,输出层有q个神经元变量定义输入向量;隐含层输入向量；隐含层输出向量;输出层输入向量;输出层输出向量;期望输出向量;第9页,共29页，星期六，2024年，5月BP网络的标准学习算法输入层与中间层的连接权值:隐含层与输出层的连接权值:隐含层各神经元的阈值:输出层各神经元的阈值:样本数据个数:激活函数:误差函数：第10页,共29页，星期六，2024年，5月BP网络的标准学习算法第一步，网络初始化给各连接权值分别赋一个区间（-1，1）内的随机数，设定误差函数e，给定计算精度值和最大学习次数M。第二步,随机选取第个输入样本及对应期望输出第11页,共29页，星期六，2024年，5月BP网络的标准学习算法第三步，计算隐含层各神经元的输入和输出第12页,共29页，星期六，2024年，5月BP网络的标准学习算法第四步，利用网络期望输出和实际输出，计算误差函数对输出层的各神经元的偏导数。第13页,共29页，星期六，2024年，5月BP网络的标准学习算法第五步，利用隐含层到输出层的连接权值、输出层的和隐含层的输出计算误差函数对隐含层各神经元的偏导数。第14页,共29页，星期六，2024年，5月BP网络的标准学习算法第15页,共29页，星期六，2024年，5月BP网络的标准学习算法第六步，利用输出层各神经元的和隐含层各神经元的输出来修正连接权值。第16页,共29页，星期六，2024年，5月BP网络的标准学习算法第七步，利用隐含层各神经元的和输入层各神经元的输入修正连接权。第17页,共29页，星期六，2024年，5月BP网络的标准学习算法第八步，计算全局误差第九步，判断网络误差是否满足要求。当误差达到预设精度或学习次数大于设定的最大次数，则结束算法。否则，选取下一个学习样本及对应的期望输出，返回到第三步，进入下一轮学习。第18页,共29页，星期六，2024年，5月BP网络的标准学习算法BP算法直观解释情况一直观表达当误差对权值的偏导数大于零时，权值调整量为负，实际输出大于期望输出，权值向减少方向调整，使得实际输出与期望输出的差减少。whoe0，此时Δwho0第19页,共29页，星期六，2024年，5月BP网络的标准学习算法BP算法直观解释情况二直观表达当误差对权值的偏导数小于零时，权值调整量为正，实