- 1、本文档共65页,可阅读全部内容。
- 2、原创力文档(book118)网站文档一经付费(服务费),不意味着购买了该文档的版权,仅供个人/单位学习、研究之用,不得用于商业用途,未经授权,严禁复制、发行、汇编、翻译或者网络传播等,侵权必究。
- 3、本站所有内容均由合作方或网友上传,本站不对文档的完整性、权威性及其观点立场正确性做任何保证或承诺!文档内容仅供研究参考,付费前请自行鉴别。如您付费,意味着您自己接受本站规则且自行承担风险,本站不退款、不进行额外附加服务;查看《如何避免下载的几个坑》。如果您已付费下载过本站文档,您可以点击 这里二次下载。
- 4、如文档侵犯商业秘密、侵犯著作权、侵犯人身权等,请点击“版权申诉”(推荐),也可以打举报电话:400-050-0827(电话支持时间:9:00-18:30)。
第8章数据预测建模:人工神经网络人工神经网络的基本概念感知机网络多层感知机网络B-P反向传播算法人工神经网络的Python应用实践
导言
第8章数据预测建模:人工神经网络人工神经网络(ArtificialNeuralNetwork,ANN)是一种人脑的抽象计算模型,是一种模拟人脑思维的计算机建模方式通过类似于生物神经元的处理单元,以及处理单元之间的有机连接,解决现实世界的模式识别、联想记忆、优化计算等复杂问题
人工神经网络的基本概念
人工神经网络的基本构成人工神经网络由相互连接的神经元,称为节点或处理单元组成人脑神经元的连接和连接强弱,在人工神经网络中体现为节点间的连线,称为连接或边,以及连接权重的大小上根据网络的层数,从拓扑结构上神经网络可分为:两层神经网络、三层及以上的多层神经网络这种方向性连接的网络也称前馈式网络各层的节点之间是全连接的,是一种全连接网络感知机网络多层感知机网络第8章数据预测建模:人工神经网络
?第8章数据预测建模:人工神经网络
感知机网络感知机:一种最基本的前馈式两层神经网络模型,仅由输入层和输出层构成感知机网络中的节点生物神经元会对不同类型和强度的刺激信号呈现出不同的反映状态(State)或激活水平(ActivityLevel)。同理,感知机的节点也会对不同的输入给出不同的输出由加法器和激活函数组成第8章数据预测建模:人工神经网络
????感知机网络第8章数据预测建模:人工神经网络
??感知机网络第8章数据预测建模:人工神经网络
??感知机网络?第8章数据预测建模:人工神经网络
???感知机网络第8章数据预测建模:人工神经网络
?感知机网络?第8章数据预测建模:人工神经网络
感知机节点中的激活函数连续型激活函数双曲正切函数:ReLU(RectifiedlinearUnit,ReLU)激活函数:感知机网络第8章数据预测建模:人工神经网络
感知机节点中的激活函数[0,1]型阶跃函数在分类预测中的作用感知机网络?第8章数据预测建模:人工神经网络
感知机节点中的激活函数Logistic激活函数在分类预测中的作用感知机网络???第8章数据预测建模:人工神经网络
Python模拟和启示:认识激活函数加法器:Chapter8-1.ipynb第8章数据预测建模:人工神经网络
?感知机网络第8章数据预测建模:人工神经网络
感知机的迭代步骤:第一步,计算各节点的加法器和激活函数,给出节点的输出结果,即样本观测的预测值。第二步,计算样本观测的预测值与实际值间的误差,根据误差重新调整各连接权重会反复执行上述两步。需经过多个周期的学习。直到满足迭代终止条件为止迭代结束后将得到一组合理的连接权重和其对应的理想超平面。后续将依据超平面进行预测涉及的问题包括:第一,如何度量误差第二,如何通过迭代逐步调整网络权重如何度量误差:回归预测的损失函数:最优的网络权重:分类预测的损失函数:不适用于阶跃函数的情况,采用以下损失函数???第8章数据预测建模:人工神经网络
??????第8章数据预测建模:人工神经网络
如何通过迭代逐步调整网络权重:梯度下降法机器学习中常用的实现参数优化的方法参数优化的目标:对特定模型M,利用数据D,得到损失函数最小时的最优模型参数wopt通常模型参数w为向量如:回归模型中w为回归系数和截距项;人工神经网络中w为网络权重损失函数的复杂程度取决于:损失函数L的形式;模型结构如:模型是关于参数W的线性函数,损失函数L为平方损失,L是w的二次函数参数优化较简单:单峰(存在唯一最值)求L对w的偏导数,并令偏导g(w)=0;求解方程组(最小二乘法)感知机网络---权重训练?第8章数据预测建模:人工神经网络
参数优化的目标:如果模型形式较为复杂,则L可能不是关于w的简单平滑函数,如:多峰通常求解L(w)最小的参数w等价在高维空间中最小化一个多元复杂函数采用梯度下降法,通过迭代,利用关于L曲率的局部信息,引导在L曲面上进行局部搜索??第8章数据预测建模:人工神经网络
???感知机网络第8章数据预测建模:人工神经网络
第三步骤具体为:对于回归预测中的平方损失函数:有:对分类预测中的损失函数:有:???????感知机网络?第8章数据预测建模:人工神经网络
?第8章数据预测建模:人工神经网络
????感知机网络第8章数据预测建模:人工神经网络
说明:连接权重和偏差权重的初始值是随机的,相同迭代策略下迭代结束时的权重最终值可能是不等的,有些可能是最优解有些可能仅是局部最优解一般可通过迭代的多次重启动方式解决这个问题感知机网络第8章数据预测建模:人工神经网络
?感知机网络第8章数据预测建模:人工神经网络
?感知机网络?第8章数据预测建模:人工神经网络
?多层感知机网络??第8
您可能关注的文档
- 中式烹调师(技师、高级技师) 课件 项目6、7 宴会主理、菜肴制作与装饰.pptx
- 中式烹调师(技师、高级技师) 课件 项目8、9 厨房管理、培训指导 .pptx
- 中式烹调师(技师、高级技师) 课件 项目1--3 原料鉴别与初加工---菜肴制作与装饰.pptx
- 中式烹调师(技师、高级技师) 课件 项目4、5 厨房管理、培训指导 .pptx
- 《Python机器学习:原理与实践(第2版)》课件 薛薇 - 第4--6章 数据预测建模:贝叶斯分类器---数据预测建模:决策树.pptx
- 《Python机器学习:原理与实践(第2版)》课件 薛薇 - 第7章 数据预测建模:集成学习.pptx
- 《Python机器学习:原理与实践(第2版)》课件 薛薇 -第10--12章 特征选择:过滤、包裹和嵌入策略---揭示数据内在结构:聚类分析 .pptx
- GB/T 5132.3-2024电气用热固性树脂工业硬质圆形层压管和棒 第3部分:圆形层压卷制管.pdf
- 中国国家标准 GB/T 5132.3-2024电气用热固性树脂工业硬质圆形层压管和棒 第3部分:圆形层压卷制管.pdf
- 《GB/T 5132.3-2024电气用热固性树脂工业硬质圆形层压管和棒 第3部分:圆形层压卷制管》.pdf
- GB/T 32151.38-2024温室气体排放核算与报告要求 第38 部分:水泥制品生产企业.pdf
- 中国国家标准 GB/T 32151.38-2024温室气体排放核算与报告要求 第38 部分:水泥制品生产企业.pdf
- 《GB/T 22069-2024燃气发动机驱动空调(热泵)机组》.pdf
- GB/T 22069-2024燃气发动机驱动空调(热泵)机组.pdf
- 中国国家标准 GB/T 22069-2024燃气发动机驱动空调(热泵)机组.pdf
- 中国国家标准 GB/T 11064.1-2024碳酸锂、单水氢氧化锂、氯化锂化学分析方法 第1部分: 碳酸锂含量的测定 滴定法.pdf
- GB/T 11064.1-2024碳酸锂、单水氢氧化锂、氯化锂化学分析方法 第1部分: 碳酸锂含量的测定 滴定法.pdf
- 《GB/T 11064.1-2024碳酸锂、单水氢氧化锂、氯化锂化学分析方法 第1部分: 碳酸锂含量的测定 滴定法》.pdf
- GB/T 1148-2024内燃机 铝活塞.pdf
- 中国国家标准 GB/T 1148-2024内燃机 铝活塞.pdf
文档评论(0)