第七讲人工神经网络.pptVIP

人工神经网络是具有下列特性的有向图 ◇对于每个节点i 存在一个状态变量xi ； ???? ◇从节点j 至节点i ,存在一个连接权系数wij； ◇对于每个节点i ，存在一个阈值θ i； ???? ◇对于每个节点 i ，定义一个变换函数fi ；对于最一般的情况，此函 数取如下的形式 神经网络的基本特性和结构 神经元的模型确定之后，一个神经网络的特性及能力主要取决于网络的拓扑结构及学习方法 人工神经网络连接的几种基本形式 前向网络 (a) 从输出到输入有反馈的前向网络 (b) 用来存储某种模式序列 层内互连前向网络 (c) 限制层内同时动作的神经元；分类功能 相互结合型网络 (d) 人工神经网络典型结构 x1 x2 xn … … … y1 y2 yn x1 x2 xn … … … y1 y2 yn a） b） x1 x2 xn … … … y1 y2 yn x1 x2 x3 x4 y1 y2 y3 y4 c） d） 人工神经网络最具有吸引力的特点是它的学习能力。学习是神经网络研究的一个重要内容，神经网络的适应性是通过学习实现的.人工神经网络的学习过程就是对它的训练过程. 神经网络基本学习算法 什么是学习？ 学习就是对信息进行编码,其目的就是通过向有限个例子（训练样本）的学习来找到隐藏在例子背后（即产生这些例子）的规律（如函数形式）。 当样本数据改变系统参数时，系统会对这些改变进行自适应或自组织的学习，在神经网络中表现为突触的改变。 按突触修正假说，神经网络在拓扑结构固定时，其学习归结为连接权的变化。 主要学习算法 神经网络基本学习算法分为： 有师学习（监督学习） 无师学习（非监督学习） 强化学习 有师学习 有师（监督）就是对每一个输入Xi, 都假定我们已经知道它的期望输出Yi,这个Yi可以理解为监督信号，也叫“教师信号”。对每一个输入Xi及其对其估计的期望输出Yi，就构成了一个训练样本。根据这若干组训练样本（Xi，Yi），对人工神经网络进行训练，利用学习系统的误差（ 期望输出与实际输出之差），不断校正学习系统的行为（即突触权值），直到误差满足要求，算法停止。有师学习算法主要有δ规则、BP算法、LVQ算法等。 其关键之处，就是将教师信号加入到了网络中. 无师学习 无师学习不需要知道期望输出。在训练过程中，只要想神经网络提供输入模式，神经网络就能够自动地适应连接权，以便按照相似特征把输入模式分组聚集。无师学习算法主要在自适应谐振理论ART、Kohonen等自组织竞争型网络中采用。 强化学习 人类通常从与外界环境的交互中学习。强化学习技术是从控制理论、统计学、心理学等相关学科发展而来，最早可以追溯到巴甫洛夫的条件反射实验。所谓强化（reinforcement）学习是指从环境状态到行为映射的学习，以使系统行为从环境中获得的累积奖励值最大。我们并没有直接告诉主体要做什么或者要采取哪个动作,而是主体通过看哪个动作得到了最多的奖励来自己发现。主体的动作的影响不只是立即得到的奖励，而且还影响接下来的动作和最终的奖励。 主体 强化学习模型 i: input r: reward s: state a: action 状态 si si+1 ri+1 奖励 ri 环境 行为 ai a0 a1 a2 s0 s1 s2 s3 基本原理是：如果主体的某个行为策略导致环境正的奖赏（强化信号），那么主体以后产生这个行为策略的趋势便会加强. 监督学习与非监督学习的区别： 在监督学习中，假定我们知道每一输入对应的期望输出，并利用学习系统的误差，不断校正系统的行为； 在非监督学习中，我们不知道学习系统的期望输出。 监督学习与强化学习的区别： Supervised Learning – Learn from examples provided by a knowledgable external supervisor. Reinforcement Learning – Learn from interaction learn from its own experience, and the objective is to get as much reward as possible. The learner is not told which actions to take, but instead must discover which actions yield the most reward by trying them.