人工神经网络专业知识专家讲座.pptx

机器学习第4章人工神经网络（ANN）.12.181机器学习-人工神经网络作者：Mitchell译者：曾华军等讲者：陶晓鹏人工神经网络专业知识专家讲座第1页

概述人工神经网络提供了一个普遍且实用方法从样例中学习值为实数、离散值或向量函数反向传输算法，使用梯度下降来调整网络参数以最正确拟合由输入-输出对组成训练集合人工神经网络对于训练数据中错误健壮性很好人工神经网络已被成功应用到很多领域，比如视觉场景分析，语音识别，机器人控制.12.182机器学习-人工神经网络作者：Mitchell译者：曾华军等讲者：陶晓鹏人工神经网络专业知识专家讲座第2页

介绍神经网络学习对于迫近实数值、离散值或向量值目标函数提供了一个健壮性很强方法对于一些类型问题，如学习解释复杂现实世界中传感器数据，人工神经网络是当前知道最有效学习方法反向传输算法成功例子，学习识别手写字符，学习识别口语，学习识他人脸.12.183机器学习-人工神经网络作者：Mitchell译者：曾华军等讲者：陶晓鹏人工神经网络专业知识专家讲座第3页

生物学动机ANN受到生物学启发，生物学习系统是由相互连接神经元组成异常复杂网络。ANN由一系列简单单元相互密集连接组成，其中每一个单元有一定数量实值输入，并产生单一实数值输出人脑组成，大约有1011个神经元，平均每一个与其它104个相连神经元活性通常被通向其它神经元连接激活或抑制最快神经元转换时间比计算机慢很多，然而人脑能够以惊人速度做出复杂度惊人决议很多人推测，生物神经系统信息处理能力一定得益于对分布在大量神经元上信息表示高度并行处理.12.184机器学习-人工神经网络作者：Mitchell译者：曾华军等讲者：陶晓鹏人工神经网络专业知识专家讲座第4页

生物学动机（2）ANN系统一个动机就是取得这种基于分布表示高度并行算法ANN并未模拟生物神经系统中很多复杂特征ANN研究分为两个团体使用ANN研究和模拟生物学习过程取得高效机器学习算法，不论这种算法是否反应了生物过程本书属于后一个研究团体.12.185机器学习-人工神经网络作者：Mitchell译者：曾华军等讲者：陶晓鹏人工神经网络专业知识专家讲座第5页

神经网络表示ALVINN系统Pomerleau1993使用一个学习到ANN以正常速度在高速公路上驾驶汽车ANN输入是一个30x32像素网格，输出是车辆行进方向每个节点对应一个网络单元输出，而从下方进入节点实线为其输入隐藏单元，输出仅在网络内部，不是整个网络输出一部分每个输出单元对应一个特定驾驶方向，这些单元输出决定哪一个方向是被最强烈推荐.12.186机器学习-人工神经网络作者：Mitchell译者：曾华军等讲者：陶晓鹏人工神经网络专业知识专家讲座第6页

神经网络表示（2）ALVINN是很多ANN经典结构，全部单元分层互连形成一个有向无环图通常，ANN图结构能够有很各种类型无环或有环有向或无向本章讨论以反向传输算法为基础ANN方法反向传输算法假定网络是一个固定结构，对应一个有向图，可能包含环ANN学习就是为图中每一条边选取权值大多数实际应用与ALVINN相同.12.187机器学习-人工神经网络作者：Mitchell译者：曾华军等讲者：陶晓鹏人工神经网络专业知识专家讲座第7页

适合神经网络学习问题训练集合为含有噪声复杂传感器数据，比如来自摄像机和麦克风需要较多符号表示问题，比如决议树学习任务，能够取得和决议树学习大致相当结果反向传输算法是最惯用ANN学习技术.12.188机器学习-人工神经网络作者：Mitchell译者：曾华军等讲者：陶晓鹏人工神经网络专业知识专家讲座第8页

反向传输算法适合问题特征实例是用很多“属性-值”对表示目标函数输出可能是离散值、实数值或者由若干实数属性或离散属性组成向量训练数据可能包含错误可容忍长时间训练可能需要快速求出目标函数值人类能否了解学到目标函数是不主要.12.189机器学习-人工神经网络作者：Mitchell译者：曾华军等讲者：陶晓鹏人工神经网络专业知识专家讲座第9页

本章余后部分提要讨论训练单个单元学习算法介绍组成神经网络几个主要单元感知器（perceptron）线性单元（linerunit）sigmoid单元（sigmoidunit）给出训练多层网络反向传输算法考虑几个普通性问题ANN表征能力假设空间搜索本质特征过分拟合问题反向传输算法变体例子，利用反向传输算法训练识他人脸ANN.12.1810机器学习-人工神经网络作者：Mitchell译者：曾华军等讲者：陶晓鹏人工神经网络专业知识专家讲座第10页

感知器一个类型ANN系统是以感知器为基础感知器以一个实数值向量作为输入，计算这些输入线性组合，假如结果大于某个阈值，就输出1，不然输出-1 其