神经网络学习课件PPT.pptx

摘自《TalkingNets:AnOralHistoryofNeuralNetworks》封面—-

2008-2009学年第1学期

神经网络基础

■公元前400年左右，柏拉图和亚里士多德就曾对人类认知、记忆、思维进行过研究；

19世纪末，出现了神经元学说；美国生物学家W.James在《Physiology》一书中提到，“人脑中两个基本单元靠得较近时，一个单元的兴奋会传到另一个单元；

20世纪40年代，神经解剖学、神经生理学、神经元的电生理过程等有了突破性进展。

2008-2009学年第1学期

人脑中神经元(神经细胞)的结构

Cellbody

Nucleus0

2008-2009学年第1学期

Dendrites

Axon

十神经元之间的电信号传递突触(神经键)

①轴突后部裂出许多分枝，分枝末端有突触，突触与树突连接；

②轴突中的信号经突触转换为“阻止”或“激活”信号；

③当神经元的“净输入”超过阈值时，其沿轴突发出信号；

④改变突触的效能，神经元之间的影响随之改变，学习就发生了。2008-2009学年第1学期

生物神经元的结构

摘自张仰森《人工智能原理与应用》随书课件

2008-2009学年第1学期

I₁

W₁

W₂

∑

上

→y

IN

W

M-P模型中输入、输出的关系

摘自.eg/rehan/ann/231%20The%20McCulloch-Pitts%20Model%20of%20Neuron.htm

■1943年，W.S.McCulloch和W.A.Pitts合作提出了第一个

人工神经元模型(M-P模型);

f是阈值为T的阶跃函数

y=f(Sum)

2008-2009学年第1学期

突触

树突

十

加和

参考：

2008-2009学年第1学期

TM-P神经元模型

细胞体

轴突

阈值

1949年，DonalaU.Hebb在“The

OrganizationofBehavior一书中认为

口学习的过程最终发生在神经元之间的突触部位，突触的连接强度随着突触前后神经元的活动而变化；

□连接权的学习律正比于突触前后两个神经元的活动状态值的乘积；

□可假设权是对称的，细胞的互连结构是通过改变彼此的连接权创造出来的。

突触连接强度的可变性是学习和记忆的基础

2008-2009学年第1学期

▶

w;;(t+1)=w;(t)+η·y;·x;

学习率

2008-2009学年第1学期

■这是神经网络的

■神经元的输出

■连接权值的调整公式

THebb规则

1957年，FrankRosenblatt在M-P模型基础上，定义了

一个具有单层计算单元的神经网络结构，取名为“感知器”°y₁yjym

计算层

WiiWnj(输出层)

输入层

■■■■■■

x1x₂x:xn

2008-2009学年第1学期10

设计一个神经网络模型，

□除了明确网络的结构、神经元的传输函数(f);

□还要给出学习算法。

■学习算法用于得出神经网络中的各个参数。

□学习算法通常是迭代算法，对应神经网络的演变过程；

□算法收敛到一个稳定状态时，神经网络的各参数(连接权值、阈值等)就基本不变了；

□这个过程称为神经网络的学习或训练。

2008-2009学年第1学期

▶

人工神经网络的两个操作模式

训练模式(trainingmode)

口准备大量的有教师指导的(或无教师指导的)的训练样本(即实例),对ANN进行训练，确定ANN的内部参数(甚至结构)。

■使用模式(usingmode)

□输入一个实际例子，让ANN分析并给出结果。

2008-2009学年第1学期12

“感知器”是怎么训练的呢?