人工神经网络2011.pptVIP

2003.12.18 机器学习--人工神经网络 作者：Mitchell(米秋) 机器学习 第4章 人工神经网络（ANN） 概述 人工神经网络提供了一种普遍且实用的方法从样例中学习实数值、离散值或向量值函数 反向传播(BP)算法，使用梯度下降来调节网络参数以最佳拟合由输入-输出对组成的训练集合 人工神经网络对于训练数据中的错误健壮性好 人工神经网络已被成功应用到很多领域，例如视觉场景分析，语音识别，运动机器人(汽车、火车、无人机、深海或危险环境机器人)控制 简介 ANN学习对于逼近实数值、离散值或向量值的目标函数提供了一种健壮性很强的方法 对于某些类型的问题，如学习解释复杂的现实世界中的传感器数据，ANN是目前*知道的最有效的学习方法（当时, 1997年） 反向传播算法，最常用；弄清基本思想、动机 成功例子， 学习识别手写字符，学习识别口语，学习识别人脸 生物学动机 ANN受到生物学的启发，生物的学习系统是由相互连接的神经元组成的异常复杂的网络。 ANN由一系列简单的单元相互密集连接构成的，其中每一个单元有一定数量的实值输入，并产生单一的实数值输出 人脑的构成，大约有1011个神经元，平均每一个与其他104个相连 神经元的活性通常被通向其他神经元的连接激活或抑制 即便是最快的神经元转换时间比计算机慢很多，然而人脑能够以惊人的速度做出复杂度惊人的决策 很多人推测，生物神经系统的信息处理能力一定得益于对分布在大量神经元上的信息表示的高度并行处理 生物学动机（2） ANN系统的一个动机就是获得这种基于分布式表示的高度并行算法 ANN并未完全模拟生物神经系统中的复杂特征 ANN的研究分为两个团体 使用ANN研究和模拟生物学习过程，获知生物机理 获得高效的机器学习算法，不管这种算法是否反映生物过程 本书的内容、观点属于第二个研究团体 神经网络表示 ALVINN系统 Pomerleau 1993，“knowledge-based training of artificial neural networks for autonomous robot driving”, Robot Learning(pp.19-43), J. Connell and S. Mahadevan (eds.), Kluwer Academic Publishing. 使用一个学习后的ANN以正常的速度在公路上驾驶汽车 ANN的输入是一个30x32像素的网格，输出是车辆行进的方向 图中每个节点（圆圈）对应一个网络单元的输出，而从其下方进入节点的实线（末端）为其输入 隐藏单元，输出仅在网络内部，不属于整个网络的输出部分 每个输出单元对应一个特定的驾驶方向，这些单元的输出决定哪一个方向是被最强烈推荐的 名为“德国制造”的无人驾驶汽车 神经网络表示（2） ALVINN是很多ANN的典型结构，所有单元分层互连形成有向无环图;大多数实际应用与ALVINN相似 通常，ANN图结构可以有很多类型 无环或有环 有向或无向 本章讨论以BP算法为基础的ANN BP算法假定网络是一个固定结构，对应一个有向图，可能包含环 ANN学习就是为图中每一条边选取权值 一些相关例子（视频和图片） 模式识别、分类、聚类的区别？ 无人驾驶问题属于识别、分类还是聚类？ 聚类：子集划分； 分类：标识出样本对应个体归属的子集； 识别：标识出样本对应的个体本身 或者 标识出子集本身 注：样本对应于个体集合中个体或子集的特征有无监督（老师）参与不是区别决定因素 适合神经网络学习的问题 训练集合为含有噪声的复杂传感器数据，例如来自(追踪)摄像机和麦克风(阵列) 需要较多符号表示的问题，例如：决策树学习的任务，能够取得和决策树学习大体相当的结果 BP算法是最常用的ANN学习技术 神经网络是最常用于模式识别的技术之一 一些相关例子（视频和图片） BP算法适合问题的特征 实例是用很多“属性-值”对表示的 目标函数的输出可能是离散值、实数值或者由若干实数属性或离散属性组成的向量 训练数据可能包含错误 可容忍长时间的训练 可能需要快速求出目标函数值（如:分类结果） 人类能否理解学到的目标函数是不重要的（争议） 本章余后部分提纲 讨论训练单个单元的学习算法 介绍组成神经网络的几种主要单元 感知器（Perceptron） 线性单元（liner unit） sigmoid单元（sigmoid unit） 给出训练多层网络的“反向传播算法” 考虑几个一般性问题 ANN的表征能力 假设空间搜索的本质特征 过度拟合问题 反向传播算法的变体 例子，利用“反向传播算法”训练识别人脸的ANN 4.4 感知器（1） 一种类型：以感知器为基础的ANN系统是感知器以一个实数值向量作为输入，计算这些输入的线性组合，如果