智能计算导论课件-神经网络7.pptVIP

* * 定义了线性向量空间 向量空间基本知识 线性向量空间中向量的关系：线性无关，内积，范数，正交，向量展开，生成空间 线性向量空间之间的关系：任何两个有限维向量空间的线性变换都可以用矩阵(运算)表示。 * * 若一条突触两侧的两个神经元同时被激活，那么，突触的强度将会增大 Hebb规则 * * 突触前的信号 突触后的信号 简化形式: 有监督形式: 矩阵形式: Hebb规则 * * … W t 1 t 2 … t Q p 1 T p 2 T p Q T T P T = = T t 1 t 2 … t Q = P p 1 p 2 … p Q = 矩阵形式 Hebb规则 假设初始权值为0 * * Hebb规则性能 如果输入模式是标准正交向量，网络的输出等于其相应的目标输出 如果输入模式不是标准正交向量，网络的输出与其相应的目标输出有误差 * * 第五章 有监督的Hebb学习(续) * * 仿逆规则 T t 1 t 2 … t Q = P p 1 p 2 … p Q = || E || 2 e i j 2 j ∑ i ∑ = 性能指标: 矩阵形式: * * 仿逆规则(续) 最小化 如果 P的逆存在, F(W)可以为0: 如果 P的逆不存在，F(W)的最小化矩阵可以由仿逆规则给出： * * 仿逆规则(续) P＋是Moore－Penrose仿逆，满足： PP＋P＝P P +PP+ ＝P+ P +P ＝ (P+P)T P P + ＝ (PP+)T P＋计算 * * 示例 * * 示例 * * 应用：自联想存储器 * * 50% 缺失 67% 缺失 噪声模式 应用：自联想存储器 * * 基本规则: 学习率: 过滤: Delta 规则: 无监督: Hebb学习规则的变形 * * 网络结构: Hebb学习与感知器 a=purline(WP) * * 学习规则(有监督学习) Hebb学习与感知器 Hebb学习——生物学基础，仿生 感知机学习——经验 有监督形式 * * 应用: Hebb学习与感知器 Hebb学习——联想，记忆 感知机学习——分类 性能指标: Hebb学习——有 感知机学习——不明确 * * 补充练习与思考 将自联想存储器中的对称硬极限函数换为线性函数，重新实现；请考虑，二者的区别和联系 练习 线性联想器，输入/出样本为： p1=[1 -1 1 -1],t1=[1 -1] P2=[1 1 -1 -1],t2=[1 1] 应用Hebb规则求该线性联想器的权值矩阵 应用仿逆规则求权值 测试p1的输出。 * *