tom的机器学习方法mlchap04.pdfVIP

超经典 下载后可编辑 第4 章 人工神经网络 人工神经网络（ Artificial Neural Networks —— ANNs ）提供了一种普遍而且实 用 的 方 法 ， 来 从 样 例 中 学 习 值 为 实 数 、 离 散 或 向 量 的 函 数 。 像 反 向 传 播 （BackPropagation ）这样的算法使用梯度下降来调节网络参数以最佳拟合由输入 -输出对组成的训练集合。 ANN 学习对于训练数据中的错误鲁棒性很好，且已经成 功地应用到很多领域， 例如视觉场景分析 （interpreting visual scenes ）、语音识别、 以及机器人控制等。 4.1 简介 神经网络学习方法对于逼近实数值、 离散值或向量值的目标函数提供了一种鲁棒性很强 的方法。 对于某些类型的问题， 如学习解释复杂的现实世界中的传感器数据， 人工神经网络 是目前知道的最有效学习方法。 例如，本章要描述的反向传播算法已在很多实际的问题中取 得了惊人的成功，比如学习识别手写字符（ LeCun et al. 1989 ），学习识别口语（ Lang et al. 1990）和学习识别人脸（ Cottrell 1990 ）。Rumelhart et al. （1994 ）中概览了其实际的应用。 4.1.1 生物学动机 人工神经网络的研究在一定程度上受到了生物学的启发， 因为生物的学习系统是由相互 连接的神经元（ neuron ）组成的异常复杂的网络。而人工神经网络与此大体相似，它是由一 系列简单单元相互密集连接构成， 其中每一个单元有一定数量的实值输入 （可能是其他单元 的输出），并产生单一的实数值输出（可能成为其他很多单元的输入） 。 为了加深对这种类比的认识， 让我们考虑一些来自生物学的事实。 例如， 据估计人类的 11 4 大脑是由大约 10 个神经元相互连接组成的密集网络， 平均每一个神经元与其他 10 个神经 元相连。 神经元的活性通常被通向其他神经元的连接激活或抑制。 目前知道的最快的神经元 转换时间是在 10-3 秒级别 —— 与计算机的转换时间 10-10 秒相比慢很多。然而人类能够以惊 人的速度做出复杂度惊人的决策。 例如， 你要通过视觉认出自己的母亲大约需要 10-1 秒。 注 意在这 10-1 秒的间隔内， 被激发的神经元序列不长于数百步， 因为单个神经元的转换速度已 知。这个事实使很多人推测， 生物神经系统的信息处理能力一定得益于对分布在大量神经元 上的信息表示的高度并行处理。 ANN 系统的一个动机就是获得这种基于分布表示的高度并 行算法。大多数的 ANN 软件在串行机器上仿真分布处理，然而更快版本的算法也已经在高 度并行机和特别为 ANN 应用设计的专用硬件上实现。 由于 ANN 只是一定程度地受生物神经系统的启发，所以 ANN 并未模拟生物神经系统 中的很多复杂特征，而且已经知道 ANN 的很多特征与生物系统也是不一致的。例如，对于 我们考虑的 ANN ，每个单元输出单一的不变值，