神经计算课件.pptVIP

神经计算 内容提要 一、引言 二、神经计算 三、研究问题 四、结束语 引言 引言 引言 神经系统活动，不论是感觉、运动，还是脑的高级功能（如学习、记忆、情绪等）都有整体上的表现，面对这种表现的神经基础和机理的分析不可避免地会涉及各种层次。这些不同层次的研究互相启示，互相推动。在低层次（细胞、分子水平）上的工作为较高层次的观察提供分析的基础，而较高层次的观察又有助于引导低层次工作的方向和体现其功能意义。既有物理的、化学的、生理的、心理的分门别类研究，又有综合研究。 神经计算 神经计算就是通过对人脑的基本单元---神经元的建模和联结，来探索模拟人脑神经系统功能的模型，并研制一种具有学习、联想、记忆和模式识别等智能信息处理功能的人工系统。 系统结构 学习算法 神经计算 （1）可以充分逼近任意复杂的非线性关系； ??? （2）所有定量或定性的信息都等势分布贮存于网络内的各神经元，故有很强的鲁棒性和容错性； ??? （3）采用并行分布处理方法，使得快速进行大量运算成为可能； ??? （4）可学习和自适应不知道或不确定的系统； ??? （5）能够同时处理定量、定性知识。 神经计算 40年代心理学家Mcculloch和数学家Pitts合作提出的兴奋与抑制型神经元模型和Hebb提出的神经元连接强度的修改规则，他们的研究结果至今仍是许多神经网络模型研究的基础。 50年代、60年代的代表性工作是Rosenblatt的感知机和Widrow的自适应性元件Adaline。 1969年，Minsky和Papert合作发表了颇有影响的Perceptron一书，得出了消极悲观的论点，加上数字计算机正处于全盛时期并在人工智能领域取得显著成就，70年代人工神经网络的研究处于低潮。 80年代后，传统的Von Neumann数字计算机在模拟视听觉的人工智能方面遇到了物理上不可逾越的极限。与此同时，Rumelhart与Mcclelland以及Hopfield等人在神经网络领域取得了突破性进展，神经网络的热潮再次掀起。 神经计算 感知机 多层网络BP算法 Hopfield网络模型 自适应共振理论（ART） 自组织特征映射理论 Hinton 等人最近提出了 Helmboltz 机 徐雷提出的 Ying-Yang 机理论模型 甘利俊一( S.Amari) 开创和发展的基于统计流形的方法应用于人工神经网络的研究, 感知机 Rosenblatt’s Perceptron: a network of processing elements (PE): 感知机 Initial proposal of connectionist networks Rosenblatt, 50’s and 60’s Essentially a linear discriminant composed of nodes, weights 感知机 Additional layer(s) can be added: 感知机 最小均方学习方法 激励函数 To apply the LMS learning rule, also known as the delta rule, we need a differentiable activation function. 反传网络 Attributed to Rumelhart and McClelland, late 70’s To bypass the linear classification problem, we can construct multilayer networks. Typically we have fully connected, feedforward networks. 反传学习 反传 – 权值修改 Hopfield 网络 Every node is connected to every other nodes Weights are symmetric Recurrent network State of the net is given by the vector of the node outputs (x1, x2, x3) 自组织特征映射-SOMKohonen (1982, 1984) In biological systems cells tuned to similar orientations tend to be physically located in proximity with one another microelectrode studies with cats Orientation tuning ov