多层感知器.pptVIP

第十一章 多层感知器 人脑的结构 神经元的结构由细胞体（包含细胞内核 树突，轴突组成。 11.1 引言 理解人脑 计算理论 表示和算法 硬件实现 自然和人工的飞行器 并行处理的典范 单指令多数据机，所有的处理器都执行相同的指令，但是在不同的数据上执行 多指令多数据机，不同的处理器可以在不同的数据上执行不同的指令。 神经指令多数据机，每个处理器对应一个神经元，局部参数对应它的突出权重，而整个结构是一个神经网络 感知器 感知器是基本处理元素 简单感知器 并行感知器 训练感知器 使用在线学习原因 这使得我们不必在外存存放训练样本，不必在优化时存放中间结果 问题可能随时变化，这意味样本的分布不固定 可能存在系统的物理变化 在线学习 我们不需要全部样本而是需要单个实例上的误差函数。从随机初始权重开始，在每次迭代中，我们都对参数稍加调整，以最小化误差，而不忘记我们先前学到的。 学习布尔函数 XOR函数 多层感知器 MLP作为通用逼近器 MLP作为通用逼近器 我们可以将这些扩展到输入是连续值的情况 具有一个隐藏层的MLP可以学习输入的任意非线性函数 后向传播算法 训练多层感知器与训练感知器一样的；唯一的区别是现在的输出时输入的非线性函数 非线性回归 计算的非线性回归 误差函数 权重 非线性回归 训练过程 梯度下降优点 即权重的改变只使用前后突触单元和误差值 动能 自适应学习率 过分训练 随着训练继续进行，新的参数添加到系统中一样，增加了系统的复杂度，导致糟糕的泛化。 停止训练的最佳点和最佳隐藏单元数通过交叉确认确定 构造网络 在某些应用中，我们可能相信输入具有局部结构 在设计MLP时，并不是将隐藏单元连接到所有的输入单元，并非所有的输入都是相关的 通过权重共享进一步减少参数的数目 线索 可以使用线索创建虚拟实例 不变性可以作为预处理阶段实现 线索可以纳入到网络结构中 可以通过修改误差函数纳入线索 调整网络规模 破坏性方法；我们从一个大网络开始，逐步删除不必要的单元和/或连接。 建设性方法；我们从一个小网络开始，逐步增加改善性能的单元和/或连接。 权衰减，基本思想是删除不必要的连接 学习时间 序列识别 序列复制 时间关联 时间延迟神经网络 递归网络 时间延迟神经网络 在时间延迟神经网络中，前面的输入被延迟，以便于最后的输入同步，一起作为输入提交系统 * * 递归网络 在递归网络中，除了前馈连接之外，单元具 有自连接或到前面层的连接