6贝叶斯学习-机器学习教学演示课件.pptVIP

. . 在神经网络中梯度搜索以达到似然最大化 前面讨论了利用式子6.13求极大似然假设，现用G(h,D)表示，为神经网络学习推导一个权值训练法则，使用梯度上升法使G(h,D)最大化 考虑简单的情况，假定神经网络从一个单层的sigmoid单元建立，则 2003.12.18 机器学习-贝叶斯学习 作者：Mitchell 译者：曾华军等 讲者：陶晓鹏 * . 在神经网络中梯度搜索以达到似然最大化（2） 因为要使P(D|h)最大化而不是最小化，因此执行梯度上升搜索，而不是梯度下降搜索。 与反向传播更新法则对比 使误差平方最小化的法则寻找到极大似然假设的前提是：训练数据可以由目标函数值加上正态分布噪声来模拟 使交叉熵最小化的法则寻找极大似然假设基于的前提是：观察到的布尔值为输入实例的概率函数 2003.12.18 机器学习-贝叶斯学习 作者：Mitchell 译者：曾华军等 讲者：陶晓鹏 * . 最小描述长度准则 奥坎姆剃刀可以概括为：为观察到的数据选择最短的解释 此处给出一个贝叶斯分析，提出最小描述长度准则，根据信息论中的基本概念来解释hMAP的定义 上式可以解释为在特定的假设编码表示方案上“优先选择短的假设” 2003.12.18 机器学习-贝叶斯学习 作者：Mitchell 译者：曾华军等 讲者：陶晓鹏 * . 最小描述长度准则（2） 信息论中的编码理论 设想要为随