《机器学习及其应用》课件 第七章 神经网络与深度学习.pptxVIP

计算机应用技术研究所1机器学习Machine Learning 汪荣贵 教授合肥工业大学 计算机与信息学院 计算机应用技术研究所第7章 神经网络与深度学习 神经网络常用模型2 深度学习基本知识3 神经网络概述1 本章学习内容计算机应用技术研究所 计算机应用技术研究所神经网络概述 计算机应用技术研究所 神经网络概述 神经元与感知机 前馈网络模型 模型训练基本流程 神经元与感知机生物神经元基本结构人工神经元的结构生物神经元与人工神经元对比对单个神经元而言，其输入信息来自多个不同的神经元计算机应用技术研究所 神经元与感知机计算机应用技术研究所? 神经元与感知机计算机应用技术研究所? 神经元与感知机计算机应用技术研究所?单极性阈值函数图像双极性阈值函数图像 神经元与感知机计算机应用技术研究所? 神经元与感知机计算机应用技术研究所?tanh激活函数? 神经元与感知机计算机应用技术研究所感知机模型带偏置感知机? 神经元与感知机计算机应用技术研究所? 神经元与感知机计算机应用技术研究所简单的感知机模型线性可分的二分类问题使用感知机模型可解决下图所示二维平面中线性可分的二分类问题，但感知机模型难以解决线性不可分问题和多分类任务。 例题?计算机应用技术研究所 例题计算机应用技术研究所? 例题计算机应用技术研究所? 例题计算机应用技术研究所? 计算机应用技术研究所 神经网络概述 神经元与感知机 前馈网络模型 模型训练基本流程 前馈网络模型通常将此类没有环路或回路的人工神经网络称为前馈网络模型。感知机是一种最简单的前馈网络模型。单隐层MLP模型在感知机模型的基础之上添加隐含层，通常将此类模型称为多层感知机模型（MLP）。 前馈网络模型? 前馈网络模型? 前馈网络模型??? 前馈网络模型?原始数据分布映射后数据分布 前馈网络模型?单隐层MLP模型BP神经网络模型 前馈网络模型?? 前馈网络模型? 前馈网络模型? 前馈网络模型? 前馈网络模型? 前馈网络模型?梯度的逐层求解过程 前馈网络模型? 前馈网络模型? 前馈网络模型? 前馈网络模型? 前馈网络模型? 前馈网络模型? 前馈网络模型? 前馈网络模型? 前馈网络模型? 前馈网络模型? 前馈网络模型? 前馈网络模型? 前馈网络模型? 前馈网络模型? 前馈网络模型? 前馈网络模型? 前馈网络模型? 例题? 例题? 例题? 例题? 例题? 例题? 计算机应用技术研究所 神经网络概述 神经元与感知机 前馈网络模型 模型训练基本流程 模型训练基本流程 与其它机器学习模型的构造过程类似，构建一个满足实际任务需求的人工神经网络需要考虑多方面因素。其中直接影响网络模型性能因素包括训练样本集的大小及样本质量、网络模型结构、优化目标函数形式和模型优化算法。在模型的训练构造过程中通常综合考虑这些因素。 模型训练基本流程 如下图所示，构建一个神经网络模型大致可分为数据准备与预处理、模型初始化、确定优化目标、模型优化求解和验证模型性能这五个基本步骤。构造神经网络模型流程图 模型训练基本流程 、数据准备与预处理首先需要针对任务需求收集样本并对其进行标注样本增强方式实现对训练样本集扩充将带标注样本划分为两部分，其中一部分样本作为训练集用于模型训练，其余部分作为测试集用于验证模型性能对数据进行特征提取等预处理采用合适方式对标签数据进行编码 模型训练基本流程 二、模型初始化模型初始化参数一般有：连接权重、偏置项、超参数。这种建立初始网络模型结构和模型参数进行初始赋值的过程通常称之为模型初始化过程。模型初始化过程确定了模型优化过程从何处开始，从一组较好的模型参数开始的训练过程通常能够避免参数陷入局部最优并获得性能较好的优化模型。 模型训练基本流程 三、确定优化目标初始模型的模型性能通常难以满足任务需求，需对其进行优化。为此，需要根据某一原则构造用于模型优化的目标函数。针对不同类型的实际任务，通常所使用的目标函数形式也有所不同。 模型训练基本流程 ? 模型训练基本流程 ? 模型训练基本流程 ? 模型训练基本流程 ? 模型训练基本流程 ? 模型训练基本流程 ? 模型训练基本流程 神经网络作为一类具体的机器学习模型，与其他机器学习模型一样有时会出现过拟合现象，可通过在模型优化的目标函数中添加正则化项以约束模型参数的取值，降低模型容量实现消除或缓解过拟合现象的效果。 模型训练基本流程 ? 模型训练基本流程 ? 模型训练基本流程 ? 模型训练基本流程 四、模型优化求解确定了目标函数之后，在初始网络模型参数均为已知的条件下，可将训练样本输入网络模型进行前向计算求得目标函数具体取值，并可使用梯度下降、牛顿迭代或随机梯度下降