常用神经网络原理及学习算法第二章.pptVIP

神经网络原理 王永骥 常用神经网络原理及学习算法 1、介绍四种类型的网络 2、神经网络的学习算法 3、感知器网络(Perceptron) 4、线性神经网络 5、 BP网络 6、基于二阶收敛阶的学习算法 7、 对角回归神经网络及其学习算法 8、 辐射基函数神经网络 9、 Hopfield 神经网络 10、自组织竞争(ART和SOFM） 介绍四种类型的网络 1、前向型 2、反馈型 3、随机型 4、自组织竞争型 神经网络的学习算法 1、学习算法的类型 决定性质的两个因素：拓扑结构、学习（工作）规划 2、无监督Hebb算法 学习算法的类型 1、死记式学习 2、有监督学习 3、无监督学习 4、无监督竞争学习 5、无监督Hebb学习 6、有、无监督混合学习 7、模拟退火学习 8、模糊学习 9、强化学习 死记式学习 连接权根据某种特殊记忆模式设计为不变 联想记忆、优化计算时即为此 有监督学习 对学习结果（网络输出）有一评价，其差值决定加权调整 无监督学习 自组织学习： 网络根据某种规则反复调整加权以响应输入模式的激励，直到网络形成某种有序状态 作用：抽取输入信号规律（统计规律） 学习评价标准隐含于网络内部 学习规则：Hebb 相近学习规则 必要条件：输入数据的冗余性 用途：主元分析、聚类、特征映射 无监督竞争学习 特点：某种方法确定竞争后“获胜”神经元获胜元“1”；其它“0” 加权的调整：仅在获胜元与输入间进行（相近学习规则） 无监督Hebb学习 利用Hebb规划调整加权，以适合输入模式的激励 有、无监督混合学习 有监督学习 优点：分类精细、准确、灵活、简练 缺点：学习慢、精度差 混合学习 利用无监督学习，抽取数据特征，数据预处理； 有监督学习，处理I/O映射 模拟退火学习 模拟退火（Simulated Annealing）学习 思想：模拟固体在给定温度下的热平衡过程，再推广到温度变化的情况。 基于Monto Carlo迭代求解的启发式随机搜索法。 参考教材 pp106－108 模糊学习 特点：学习过程用模糊学进行测度， 输入量： 为经过模糊化后的模拟量 I/O关系：为模糊集的运算关系 强化学习 1、改善有监督学习“正确目标”，非具体信息 仅知变化趋势正确或错误 2、从环境中接受反馈信息 无监督Hebb学习 1、线性单元Hebb学习 2、Oja学习规则 3、Oja方法推广到非线性单元 线性单元Hebb学习 Model （1） （2） Hebb规则 （3） Oja学习规则 改善Hebb学习收敛， 引入与y2成比例的衰减项 （4） （5） 向量形式：  （6）