全连接神经网络.pptVIP

全连接神经网络 梅子阳19920191151134  “我们需要的是一台可以从经验中学 习的机器。” 阿兰图灵  概述 人工智能 人工智能是让机器获得像人类一样具有思考和推理机制的智能技术,这一概念最早出现在1956年召开的达梽茅斯会议上 因为很多复杂、扯象的念无法用具体的代码实现,被称为机昱学习的,一门通过让机器自动从数忌中学习氖则的研究学科由 此诞生以解决这类问题 神经网络 机器学习中的一门,通过神经网络突学习复杂、抽象逻辑的方向 度学怪用)土学习人工 深度学习 神经网络和深度学习的本质区别并不大,深庋学习特指基于深层神经网络实现的模或箅法  机器学习 机器学习 有督学习 元盐督学习 据化学习 ●有监督学习( Supervised Learning 有监督学习的謡集包含了样本x与样本的标签y,算法模型需要学习到映射关系∫βx→y,其中∫6代表模型函数,θ为模型參 数。在训絲时,運过计算椟型的预测值∫θ(x)与真实祘签y之间的误差来伉化网络参数θ,使得网络下-次能够预测更凊准。常见 的有监督学习有线性回归、逻輯回归、支持向量机、随机森林等 收集带标签的数据往往代价較为昂贵,对于只有咩本τ的数据集,算法需要自行发现数据的模态,这种方式叫作 滥督学习。在训海时,通过计算模型的预测值6(x)与自身x之间的误差来优化网络参数。常见的无监督学习 算法有自编码器、生成对抗网络等 ●强化学习( Reinforcement Learing 也称为増彊学习,通过与环境进行交豆来学习解决闩题的策略的类算法。与有监督、无监督学习不同,强化学 习问题并没有明确的正确的动作监督信号。常见的强化学习算法有DQN,PPO等  神经网络 神经网络算法是一类基于神经网络从数据中学习的算法,它仍/然属于机器学习的范畴 ●受限于计算能力和数堀量,早期的神经网络层数較浅,一殺在1~4层左右,网络表达能加有限,随着计算能力的提升和大数 据代的到来,高度并行化的GPU和海量数据让大规模神经网络的训练成为可能。 2006年, Geoffrey Hinton首次提出深度学习的念,2012年,8层的深层神经网络 AlexNet发布,并在图片识别克赛中取 得了巨大的性能提升,此后数十层、数百层、甚至上千层的神经网络模型相眯提出,展现出深层神经网络强大的学习能力。 般将利用深层袢经网终实现的算法称作深度学习,本质上神经网络和深復学习可认为是相同的。 AlexNet Implementation [sing Keras Geoffrey Hinton Flexner  深度学习与其它算法比较 基于规则的系统一般会编写显式的规则逻辑,这些 逻辑一般是针对特定的任务设计的,并不适合其他任务。 传统的机器学习算法殷会人为设计具有一定通用 性的特征检测方法,如SIFT、HOG特征,这些特征能 够适合某一类的任务,具有一定的通用性,但是如何设 计特征方法,以及特征方法的优劣性是问题的关键。 高层将江提段 神经网络的出现,使得人为设计特征这一部分工作 可以通过神经网络让机器自动学习完成,不需要人类干输龄出于 中屈特征提职 但是浅层的神经网络的特征提取能力较为有限,而 针x特定任条 征取两铬底层特江提息 阵|特检测方法 深层的神经网络擅长提取高层、抽象的特征,因此具有 更好的性能表现。 长一熀則的乐朊恬札器学习 岚绥梓经络  从神经元开始 假设信号经过神经元传输,输入x与输出f(x)之间发生了怎么样 的改变? 用线性方程来模拟这个过程: ,b3图号的奖 当输入为向量形式x=[x1,x2,x3,…,xn]咐,线性方程变为 溪息 核 典型生物神经元结 : b神经元浅性模型  线性模型ym I(xll,yily 在仅有两个数据点时,单输入的线性 但数据点较多时,线性模型便出现误差; 型似乎可以完美的拟合数据点  误差优化 在众多数据点中,找到一条与所有数据点误差为最小的 函数;将其作为优化问题 优化函数f(x)=wx+b中的参数w与b,使得均方函数 的取值最小,北时我们称均方函数为损失函数 上面的过程记为 w,,b=arg min -y)2  线性回归 这个过程其实是我们很熟悉的线性回归问题,在 深度学习的回归思想则是使用损失函数的 语言中只需几行代码就可以实现: 可导性,通过累次求导的过程,使得函数参数不 ta- read tab ta. csv, eacer-F, na. string5-C(\A 棖据梯度的知识,稊度Vf总是向着函数值增 大的方向前进,则梯度的反方向指向函数值减少 的方向,则只需要按照 来迭