Logistic回归-多层全连接前向网络及反向传播算法.pptxVIP

Logistic回归，多层全连接前向网络以及反向传播算法;流程 一：Logistic 回归的概念（ppt 3-6） 二：简单的多层全连接前向网络（ ppt 7-11 ） 三：反向传播算法及举例（ppt 12-31 重点） 四： Logistic回归的代码实现（ppt 32-33）;回顾线性回归模型 线性回归模型： 向量形式： 线性回归模型只能够进行回归学习，输出的是一个连续的实值。 如果要做分类，应该怎么办呢？ ;解决办法：找一个单调可微函数将分类任务的真实标记y与线性回归模型的预测值联系起来便可以了！ 线性回归模型产生的预测值z=wx+b是一个实值，所以我们考虑将实值z转化成0/1值便可，这样有一个可选函数便是“单位阶跃函数”。 单位阶跃函数： （如果预测值大于0便判断为正例，小于0则判断为反例，等于0则可任意判断） 但是，单位阶跃函数是非连续的函数，我们需要寻找一个连续的函数。;我们发现，“Sigmoid函数”便可以很好的取代单位阶跃函数：? 这样我们在原来的线性回归模型外套上sigmoid函数便形成了logistic回归模型的预测函数，可以用于二分类问题： ?;总结： (1)什么是 Logistic 回归？ Logistic 回归是二分类任务的首选方法。它输出一个 0 到 1 之间的离散二值结果。简单来说，它的结果不是 1 就是 0. (2) ?什么是Logistic 函数（ sigmoid函数）? 它将分类任务的真实标记y与线性回归模型的预测值联系起来。 (3) logistic回归和线性回归的区别? 逻辑回归得到一个离散的结果，但线性回归得到一个连续的结果。 例如：预测 房价 与 预测 房子的卧室个数 ;二.简单的多层全连接前向网络; 在神经网络的计算模型中，输入信号就是输入数据，模型的参数就是突触，然后输入信号传入神经元就像是输入数据和模型参数进行线性组合，然后经过激活函数，最后传出模型。 模型参数通过学习可以控制输入数据传入神经元的强度，激活函数就是神经元内部的激活处理，最后将结果输出变成第二层网络的输入。 输入信号 输入数据 突触 模型的参数 信号通过不同的突触传入神经元 数据和模型参数进行线性组合 神经元内部的激活处理 激活函数;2.单层神经网络的分类器 一般而言，N层神经网络不会把输入层算进去，因此一个一层的神经网络是指没有隐藏层，只有输入层和输出层的神经网络。 单层神经网络可以看成是一个线性运算再加上一个激活函数，由于激活函数的作用，所以我们可以将一层神经网络用做分类器。 例如,使用sigmoid 激活函数做一个二分类问题： ;3.各种类型的激活函数 （1）Sigmoid （2）Tanh（3）ReLU（ 4）Leaky ReLU （5）Maxout 4.为什么要使用激活函数？ 对于y=ax+b 这样的函数，当x的输入很大时，经过多层网络叠加后， y的输出也是无限大小的 ，这显然不符合我们的预期。 线性的表达能力有限，y=ax+b无论叠加多少层最后仍然是线性的，增加网络的深度没有意义。 例如：使用激活函数A : y=w2* A(w1*x) 不使用激活函数 ： y=w2*(w1*x)=(w2*w1)*x=wˉ*x 所以如果不使用激活函数，那么不管多少层的神经网络，就都变成了单层神经网络，所以在每一层我们都必须使用激活函数。;5.神经网络的结构 （1）神经网络是一个由神经元构成的无环图（环会导致无限循环） （2）最常见的是全连接神经网络，神经网络一般以层来组织，每个相邻层的所有神经元和另外一个层 的所有神经元相连，每个层内部的神经元不相连。 输入层：根据特征数目来决定。输出层：根据解决的问题来决定。 隐藏层：网路层数以及每层的神经元数就是可以调节的参数，而不同的层 数每