神经网络的优化学习.pptxVIP

神经网络的优化学习第1页/共67页 2023/6/721969年, Marvin Minsky和Seymour Papert,《感知器》,神经网络研究陷入低潮。直到80年代, 改进的(多层)感知器网络和学习规则, 唤起人们对神经网络研究的兴趣。第六章：神经网络的优化学习第2页/共67页 2023/6/73感知器是第一个完整的人工神经网络，具有联想记忆的功能，可以用于模式识别，并且在工程中得到实现。当前，人们仍然认为感知器网络是一种重要的神经网络。因为，对于某些应用问题而言，感知器仍是一种快速可靠的求解方法。对感知器网络行为的理解将会为理解更加复杂的神经网络奠定良好基础。6.1 感知器学习规则第3页/共67页 2023/6/74一、单神经元感知器 6.1.1 感知器的结构二、多神经元感知器 第4页/共67页 2023/6/75　　　　　　　　　　　　　　输出权值向量 输入向量单神经元感知器单神经元感知器结构与MP神经元模型十分相似作用函数类别界限净输入阈值输出第5页/共67页 2023/6/76若　　　，则若　　　，则单神经元感知器二输入单神经元感知器第6页/共67页 2023/6/77三输入单神经元感知器, 类别界限相当于在三维空间　　　　 中定义了一个平面，该平面将输入模式分为两类。单神经元感知器n (　　 )输入单神经元感知器，类别界限对于在 n 维向量空间上的线性可分模式，通过一个 n 输入的单神经元感知器一定可以找到一个超平面，将该模式分为两类。 第7页/共67页 2023/6/78输出向量连接权系数矩阵输入向量阈值向量作用函数多神经元感知器第8页/共67页 2023/6/79第 i 个神经元的类别界限其中：　　　　　　　是输入向量与第 i 个神经元的连接权值；　　　　是第 i 个神经元的阈值；由 m 个神经元构成的感知器网络最多可以区分出　种输入模式。 多神经元感知器第9页/共67页 2023/6/710感知器主要用作模式分类，感知器的学习实质是通过改变输入向量与神经元的连接权值或神经元的阈值，使感知器具有能够正确区分目标数据的能力。设有 P 组样本数据为： 其中　是第　组样本输入向量；　　　是该输入相应的目标输出　　　　　　　　　。 6.1.2 感知器的学习在感知器网络尚未训练的情况下，　可能与　相差甚远。感知器学习就是通过调整权系数和阈值，使其实际输出　逐步逼近目标输出　。第10页/共67页 2023/6/711Frank Rosenblatt的贡献在于提出了训练神经网络用于解决模式识别问题的学习规则，并证明了只要求解问题的权值存在，那么其学习规则通常会收敛到正确的网络权值上。整个学习过程较为简单，而且是自动的。只要把反映网络行为的样本数据对提交给网络，网络就能够根据样本数据从随机初始化的权值和偏置值开始自动地进行学习。 6.1.2 感知器的学习第11页/共67页 2023/6/712设有样本数据为： ，，目标输出为0的两个输入向量用空心圆〇表示，目标输出为1的输入向量用实心圆●表示。 单神经元感知器的学习第12页/共67页 2023/6/713为了简化学习过程，取感知器的神经元没有阈值。类别界限为 单神经元感知器的学习类别界限穿过原点，而且　和　是正交的。为了保证感知器能够有效将　和　，　区分开，必须找到一条合适的类别界限。第13页/共67页 2023/6/714计算实际输出：首先将　送入： 样本输入向量　的目标值　　 ，说明感知器没有给出正确的值。在开始训练时需要赋初始权值：随机取单神经元感知器的学习为了正确分类 ，应该调整权值　使其逐渐指向　。第14页/共67页 2023/6/715解决方法:是将　加到　 上，使得　 更加偏向于　。如果　　 ，且　　 ，则调整　调整后单神经元感知器的学习第15页/共67页 2023/6/716计算 的实际输出 单神经元感知器的学习 的目标向量　　， 被错误地划分。让　远离　，具体操作过程如果　　 ，且　　 ，则调整　调整后第16页/共67页 2023/6/717计算　的输出 单神经元感知器的学习　的目标输出　　 ， 被错误的划分了。调整后调整　第17页/共67页 2023/6/718若感知器能够正确工作，则保持权值向量不变。即：如果，单神经元感知器的学习则 。第18页/共67页 2023/6/719定义一个新的误差变量 感知器学习的规则 如果，则如果，则如果，则单神经元感知器的学习总结为若考虑阈值第19页/共67页 2023/6/720权值向量的第 i 行式中阈值向量第 i 个元素的学习规则多神经元感知器的学习权值向量的第 i 行的学习规则第20页/共67页 2023/6/721多