Lecture 11 神经网络.pptxVIP

Lecture 11 神经网络1-Hidden Layer Neural Networks神经网络的本质是两阶段非线性统计模型Single-Hidden Layer NNZ称为导出特征，在神经网络中也成为隐藏层。先由输入的线性组合创建Z，再以Y为目标用Z的线性组合建立模型Sigmoid Hidden Layer激活函数σ（?）=exp(y)/(1+exp(y))=1/(1+exp(-y))神经网络源于人脑开发模型，神经元接收到的信号超过阀值时被激活。由于梯度下降法训练需要光滑的性质，阶梯函数被光滑阀函数取代。Softmax Output输出函数 是对于向量T的最终变换，早期的K分类使用的是恒等函数，后来被softmax函数所取代，因其可以产生和为1的正估计。Projection Pursuit Regression投影寻踪模型Ridge function gm(w,X): 先将X投影于某一方向，再用得到的标量进行回归Universal approximation: M任意大时可以任意好的逼近空间中的任意连续函数Least Square Fitting for PPR如何拟合投影寻踪模型目标：误差函数的近似极小值为避免过分拟合，对于输出函数g需要限制M的值通常作为前向分布策略的一部分来估计， 也可以由交叉验证来估计。Weighted Least SquareM=1时，首先给定一个投影方向的初值，通过光滑样条估计g给定g， 在误差函数上对投影方向做极小化舍弃了二阶导数之后，再带入误差函数得对于右端进行最小二乘方回归，得到投影方向的新估计值，重复以上步骤得到Training of Neural Networks未知参数称为权，用θ表示权的全集对于回归和分类问题，我们分别使用误差的平方和，平方误差或互熵（离散）作为拟合的度量Least Square Fitting: Backpropogation (BP)平方误差损失的反向传播细节具有导数（Chain Rule for Composite Functions)神经网络的拟合使用梯度下降法迭代，在第（r+1）次时有如下公式神经网络的拟合如果将迭代前的公式写成如下形式其中 和 分别是当前模型输出层，隐藏层的“误差”，并且满足(Backpropogation Equation)Foreward and Backward上面的关系称作反向传播方程 (BP Equation)向前传递时固定当前权值，计算预测值向后传递是计算误差 ，进而又得到最后使用更新的误差值计算更新的梯度反向传播方法具有简单性和局部特性，每个隐藏单元只传递信息11.4 神经网络的拟合迭代公式中的γ称为学习率(Learning rates)，此种迭代更新称为批学习(Batch learning)对于批学习，学习率通常取常数，也可以在每次更新的时候通过极小化误差函数的线搜索来优化使用在线学习(Online learning)，学习率: (1)随迭代次数递减到零, 保证收敛；(2) 常数，跟踪环境变化神经网络训练的一些问题初始值？如果权值接近于0，则S型函数的运算大多是线性的，并且随着权值的增加变成非线性的权值恰为0导致0导数和良好的对称性，且算法永远不会前进，而以大权值开始常常导致很差的解初始化训练？局部最优解多次随机初始值神经网络训练的一些问题过分拟合？权衰减是一种更加直接的正则化方法将惩罚项加入误差函数得到λ是大于0的调整参数，较大的值使权值向0收缩。 值由交叉验证估计还可以weight sharing (restricted)神经网络训练的一些问题输入的scale对于结果的影响？最好对于所有的输入都进行标准化，这个可以保证在正则化过程中平等的对数据进行处理，而且为随机初值的选择提供一个有意义的值域一般在[ -0.7, 0.7]上面随机选取均匀的权值隐藏单元和层的数目：隐藏单元过少则模型可能不具备足够的灵活性，如果隐藏单元过多，则多余的收缩到0. 一般来说隐藏单元的数量在5到100之间，可以取合理大的数量，在用正则化加以训练，使得多余的变作0. Deep networks?Example: Hand-written Digits五种Network五种Network StructuresTest PerformanceTest PerformanceDeep Learning?多层神经网络？Hierarchical Features?IPAM-UCLA 2012 Summer School: Deep Learning, Feature Learning/programs/gss2012//programs/gss2012/ contains various video streams and slides请百度语音部的