前馈神经网络重点.ppt

* * * * * * * * * * * * * 它最终寻求的是极值函数：它们使得泛函取得极大或极小值。 函数应该存在我们优化过的函数家族中。 * * * 也可以让最大似然学习高斯分布的协方差，或者让高斯分布的协方差成为一个输入的函数。但是作为输入时，要让协方差矩阵正定。线性单元难以做到。 * * * 讨论如何定义一个在y上的分布，该分布使用z值。作者说sigmoid函数可以被一个未归一化的概率分布激活。 我们设想：未归一化的log概率在y z中是线性的。 * 解释正确答案，正确项是让cost函数最小！ 当z符号错误时，（1-2y)z会趋近于绝对值z。 绝对值的导数成为符号函数，因此梯度不会消失？？ 最后一段sigmoid值不会取到0，1 实际应用中使用-log（z） * * 想要最大化log式，目的是让cost最小。鼓励第一项增加，第二项减少。 对于第二项，log求和项可以被大概逼近与max zj.（基于这种思想： 如果 zj足够大 其他项就显得很渺小 log 消除掉了 exp）正确项是让cost最小。 * 梯度消失:函数饱和时，使用梯度下降算法，并没有多大的改变。 * * 方差是一个常数，线性模型回归中误差项相同 为?σ2 简单方法根据闭式表达求方差？闭式表达式：它由初等函数经过有限次的初等运算复合而成，可以写出式子的。 左后一个p 然后通过负对数模型作为cost函数来