神经网络的学习讲解.pptxVIP

神经网络:学习;本次课程主要包括8部分：;神经网络:学习;1）神经网络的结构;代价函数;Neural Networks: Learning;梯度计算;神经网络的表示;梯度计算--反向传播算法：核心是最小化网络输出值和目标值之间的“误差”;BP算法：;BP网络的强大威力： 1）任何的布尔函数都可以由两层单元的网络准确表示，但是所需的隐藏层神经元的数量随网络输入数量呈指数级增长； 2）任意连续函数都可由一个两层的网络以任意精度逼近。这里的两层网络是指隐藏层使用sigmoid单元、输出层使用非阈值的线性单元； 3）任意函数都可由一个三层的网络以任意精度逼近。其两层隐藏层使用sigmoid单元、输出层使用非阈值的线性单元。;Neural Networks: Learning;首先从前向传播说起，下面是一个前馈神经网络的例子：;对于一个训练样本 来说，可以通过前向传播的方式计算各个相关单元;那么反向传播到底在做什么？首先简化神经网络的代价函数：;BP算法主要是从输出层反向计算各个节点的误差的，故称之为反向传播算法;Neural Networks: Learning;Advanced optimization;Example;Have initial parameters . Unroll to get initi