深度学习总结--Auto Encoder.pptxVIP

深度学习总结 ——AutoEncoderDirectionSingle NeuronNeural Network FormulationBackpropagation AlgorithmGradient CheakingSparsity ConstraintProgramming Assignment—CS294Single Neuron?两种判别函数 通过训练集训练W及b参数，使得模型能够将输入量x进行正确的分类。Neural Network Formulation?多层神经网络，通过样本训练进行分类Feedforward,用已有W,b计算每一层节点值，最后计算误差值，用于Backpropagation。Backpropagation Algorithm?Define cost function:Single:Overroll: 第二项为weight decay team，用于减小W的量级。Backpropagation Algorithm?通过梯度下降法(gradient desent),解算，使得其中： 层第个神经元到层第个神经元的weight; b类似。Backpropagation Algorithm?1.初始化 2.Feedforward: compute 3.layer L: 4.layer :以该节点对后一层带来误差的“贡献”大小衡量该节点的误差?5.