计算智能导论.pptxVIP

智能计算导论第三章人工神经网络 (第五节I西安电子科技大学智能科学与技术系神经网络连接的几种基本形观?前向网络(feed-forward Networks)?递归网络(recurrent Networks)?互联网络（全互连与局部互连）?也可是以上几种形式的组合2前向网络结构图第1层 第2层输入naz f\ 七】*? 1纣4廿2b\ ?? 1\ V\?匡%世 r JP3 ? Wa3 3Prjw[n snass\s2 b3^縛1? 1? 1d1=f2(W1a1+b2)ai=f](W{p+b})a3=/3(W3a2+^3)33递归网络结构图输入递归层s4互连网络d)5前向神经网络特点1. 神经元分层排列，可分多层2. 隔层无连接3. 方向由入到出感知器（perceptron即为此）应用最为广泛Hopfield神经网络意Hopfield网络是单层对称全反馈网络￥ ,根据激活函数选取的不同，可分为离散 型和连续性两种（DHNNCHNN）。DHNN：作用函数为hadlim,主要用于联想 记忆。CHNN:作用函数为S型函数，主要用于优 化计算。Hopfield 网络n(0)寸」(P), a(0)=PErfii/rft=-n+W/(n)+b非线性系统状态演变的形式V在Hopfield网络中，由于反馈的存在，其 加权输入和山，i二为网络状态，网络的输出 为y广y”贝Uu,y的变化过程为一个非线性动力学 系统。可用非线性差(微)分方程来描述。一 般有如下的几种状态演变形式：(1) 渐进稳定(2) 极限环(3) 混沌现象状态轨迹发散径向基函数神经网络 样条函数神经网络 正交函数神经网络 概率神经网络 小波神经网络 自组织映射网络 多尺度几何网络有监督神经网络的基本模型目 标神经网络 包括神经元间的 连接值（权值）比 较输入*输出校正的权值11核心问题ANN研究中的核心问题How to determine the weights常用学习规则a） Hebb学习A 69-. = CCUiUiIJ I JD. Hebb1949年提出：两元同时兴奋，则 突触连接加强b） 8学习规则误差校正规则梯度方法（BP即为其中一种）Aa.. = cc8 .u.IJ J L9 =尸（y 一匕）进化计算和神经网络?权值学习?优化网络结构?进化机理引入神经网络学习?神经网络得学习机理引入进化算法14人工神经网络是什么?■是一种人工智能技术■是一种基于样例的统计学习方法■是一个系统■是一种模型■是一种算法人工神经网络能干什么?■ Learning——模式识别■ Approximation-------逼近■ Optimization--------控制高级神经系统功能■一情感，认知等人工神经网络的应用■语音、视觉、知识处理■数据压缩、模式匹配、系统建模、模糊控制、求组 合优化问题的最佳解的近似解（不是最佳近似解）■辅助决策一预报与智能管理■通信一自适应均衡、回波抵消、路由选择、ATM中 的呼叫接纳、识别与控制?空间科学一对接、导航、制导、飞行程序优化iil人脸识别A view-based system： 15 viewshnce： 98% on 68 person databaseBeymer, 1995目标分类Scanning in x,y an scalePreprocessing with overcomplete dictionary of Haar waveletsTRAININGData BaseQP SolverSVM Classifier手与数走识别二、K2 K地II 6 ： 57 ，mq ￡ 7 7 2 02 99i^i? 225l00VC7Ol3 3444 任 9}°f oO6 I U3i.3 I I3VI I IO3OT75aii0O??199bi ￡91 4。籍，485 1312 孵40 I T75O I I IWW[OVn70Mv 0 10970759733 I 9726 515056 IQ755I ? a$S( . I3J 9OMM31 7 8 ? $ - 1 * 3，3H。八八0 3 35S 1 9ZSW)08SQ3 0a3S】OY39V0IFIGI RK 10.XExamples of ZIP code image, and segmented and normalized numerals from the testing sc!. (Source: Repnnted with permission from Y. Le Cun. el al.. Backpropagation Applied u Handwritten Zip Code Recogmuon/ Vr