第十课递归神经网络 人工神经网络理论及应用课件.ppt

人工神经网络理论及应用 屈桢深 哈尔滨工业大学 延时单元网络——FIR 对应输入输出关系 延时单元网络——IIR 时空神经元模型 FIR前馈网络学习算法I 误差函数定义为(累计误差) 权值更新采用SD, FIR前馈网络学习算法II 对于输出层 FIR前馈网络学习算法III 令 ① ② ② FIR前馈网络学习算法IV ①根据网络模型： 因此有 因此有： 或记为 FIR前馈网络学习算法V 权值更新公式 注意到 要用到未来Q步信息，因此 FIR前馈网络学习步骤 设定网络层数及延时数Q; 前向传播，计算E ； 当kQ时，计算权值修正量； 返回(1), 直到误差ΔE小于指定值。 随时间演化的反向传播(BPTT) BPTT学习过程I 误差函数定义为(累计误差) 权值更新采用SD, BPTT学习过程II 定义 从最后一段权值开始更新， BPTT学习过程III 向前传播一层， BPTT学习过程IV 继续向前传播，可记为 BPTT学习过程V 进一步记为 部分反馈网络 RTRL模型表示 输入 (2)输出 即y(k)与wij(k-1), u(k-1)相