神经网络的基本原理.ppt

1.误差传播式学习感知机是一种最基本的神经网络模型，设神经元的输入输出关系为式中是学习率，是教师信号或希望输出，是实际输出与希望输出之差，和取1或0的离散值。由于权值更新与有关，所以也称学习规则。则学习规则为(2.8)人工神经网络模型第31页,共41页，星期六，2024年，5月2.联想式学习无教师的联想式学习模式的学习规则可以用数学形式表示为(2.9)与式(2.8)不同的是，即无教师信号。所以在联想式学习中，权值变化仅是输入与输出同时兴奋的结果。由于联想发生在输入和输出之间，所以这种联想被称为异联想。人工神经网络模型第32页,共41页，星期六，2024年，5月3.概率式学习概率式学习的特点式把分子热力学、统计力学和概率论中关于系统达到稳态的基本条件――能量极小标准，作为网络学习的重要前提。其中以波尔兹曼BM的学习算法最具有代表性。人工神经网络模型第33页,共41页，星期六，2024年，5月若神经元状态更新的概率服从波尔兹曼分布，则有(2.10)式中，为系统对应状态的能量变化，T是绝对温度。人工神经网络模型第34页,共41页，星期六，2024年，5月4.竞争性学习和基于知识的学习竞争性学习的特点是网络的高层次单元对低层次单元的输入模式的竞争性识别。学习时只需要输入学习样本，而无需教师信号的监督。学习过程中不同层次之间的神经元产生兴奋性连接，而同一层神经元中，距离兴奋中心很近的神经元均处于兴奋状态，而距离较远的神经元均处于抑制状态。基于知识的学习也是人工智能中的一个重要研究领域。共同点都是具有利用知识进行操作的过程。人工神经网络模型第35页,共41页，星期六，2024年，5月神经网络的学习过程:首先设定初始值，一般由于无先验的知识，初始权值可设定为随机值。接着输入样本数据进行学习，参照评价标准进行评判。如果达到要求，就停止学习，否则按照给定的学习法则调整权值，继续进行学习，直到取得满意的结果为止。人工神经网络模型第36页,共41页，星期六，2024年，5月2.4神经网络研究的内容和特点第37页,共41页，星期六，2024年，5月1.神经网络的数学模型及神经计算方法神经网络的数学模型需要抓住大脑的各种重要特征进行构造才行。模型就是从单个神经元及其复杂的连接中概括出来的十分有效的模型之一。神经计算是对认知过程的一种表征，用新的概念对信息进行加工和存储。例如Hopfield神经网络计算并不是一种单纯的数字式计算，而是对大脑提取信息(记忆)和获取信息(学习)过程的理解。内容和特点第38页,共41页，星期六，2024年，5月2.神经计算机:

神经计算机是神经网络的一种实现。基于硬件实现的神经计算机是指每一种神经元及其连接都是用物理器件来实现的，它可以是电子元器件、光学元器件或分子元器件等，工作方式上可以是数字式的或模拟式的。但是往往是专用的，缺乏通用性和灵活性。基于传统计算机的实现是利用现有的各种计算机软件和硬件来模拟各种神经网络，它有灵活性好，开发方便，价格便宜，通用性强的优点。但是它在本质上仍然是一种模拟，而不是真正意义上的神经计算机。内容和特点第39页,共41页，星期六，2024年，5月3.神经网络的应用开发神经网络的信息处理方法与传统的数字计算机和人工智能方法有本质的不同，它具有大规模并行信息处理能、连续互相作用的动力学、存储和操作合而为一和强大的自适应学习能力。这些优点使它在解决众多的应用领域问题上有着诱人的前景。内容和特点第40页,共41页，星期六，2024年，5月感谢大家观看第41页,共41页，星期六，2024年，5月关于神经网络的基本原理本章主要从电生理学的角度介绍生物神经元的基本工作原理，以及它们之间的相互作用由此概述大脑的基本构造和它的信息处理特征并在上述的基础上研究生物神经元的数学模型及其学习法则。基本原理第2页,共41页，星期六，2024年，5月第一节大脑的基本组成单元

——神经元基本原理第3页,共41页，星期六，2024年，5月脑神经系统无论从构造和功能上来讲，都称得上是一个非常复杂的巨系统。正常大脑的神经细胞(神经元)的数目约在100亿到1000亿个左右。基本原理第4页,共41页，星期六，2024年，5月图2.1神经元的构造基本原理第5页,共41页，星期六，2024年，5月细胞体是神经元的主体，它包括细胞核、细胞质和细胞膜三部分。树状突起主要起感受器作用，接受来自其它神经元的信号。轴突用来输出细胞体产生的电脉冲信号。