贝叶斯学习-机器学习.pptVIP

在神经网络中梯度搜索以达到似然最大化 前面讨论了利用式子6.13求极大似然假设，现用G(h,D)表示，为神经网络学习推导一个权值训练法则，使用梯度上升法使G(h,D)最大化 考虑简单的情况，假定神经网络从一个单层的sigmoid单元建立，则 2003.12.18 机器学习-贝叶斯学习 作者：Mitchell 译者：曾华军等 讲者：陶晓鹏 * 在神经网络中梯度搜索以达到似然最大化（2） 因为要使P(D|h)最大化而不是最小化，因此执行梯度上升搜索，而不是梯度下降搜索。 与反向传播更新法则对比 使误差平方最小化的法则寻找到极大似然假设的前提是：训练数据可以由目标函数值加上正态分布噪声来模拟 使交叉熵最小化的法则寻找极大似然假设基于的前提是：观察到的布尔值为输入实例的概率函数 2003.12.18 机器学习-贝叶斯学习 作者：Mitchell 译者：曾华军等 讲者：陶晓鹏 * 最小描述长度准则 奥坎姆剃刀可以概括为：为观察到的数据选择最短的解释 此处给出一个贝叶斯分析，提出最小描述长度准则，根据信息论中的基本概念来解释hMAP的定义 上式可以解释为在特定的假设编码表示方案上“优先选择短的假设” 2003.12.18 机器学习-贝叶斯学习 作者：Mitchell 译者：曾华军等 讲者：陶晓鹏 * 最小描述长度准则（2） 信息论中的编码理论 设想要为随机传送的消息设计一个编码，其中遇到消息i的概率是pi 感兴趣的是，使得传输随机信息所需的最小期望传送位数的编码 直观上，为使期望的编码长度最小，可能性大的消息应该赋予较短的编码 Shannon Weaver证明了最优编码对消息i的编码长度为-log2pi 使用代码C来编码消息i所需的位数被称为消息i关于C的描述长度，记为LC(i) 2003.12.18 机器学习-贝叶斯学习 作者：Mitchell 译者：曾华军等 讲者：陶晓鹏 * 最小描述长度准则（3） 使用编码理论的结论来解释等式6.16 -log2P(h)是在假设空间H的最优编码下h的描述长度。换言之，这是假设h使用其最优表示时的大小 ，CH为假设空间H的最优编码 -log2P(D|h)是在给定假设h时，训练数据D的描述长度， ，CD|h是假定发送者和接送者都知道假设h时描述数据D的最优编码 因此式子6.16显示，hMAP是使假设描述长度和给定假设下数据描述长度之和最小化的假设 最小描述长度准则： 2003.12.18 机器学习-贝叶斯学习 作者：Mitchell 译者：曾华军等 讲者：陶晓鹏 * 最小描述长度准则（4） 如果选择C1为假设的最优编码CH，C2为最优编码CD|h，那么hMDL=hMAP 可将MDL准则想象为选择最短的方法来重新编码训练数据，其中不仅计算假设的大小，并且计算给定假设时编码数据的附加开销 将MDL准则应用于决策树，如何选择假设和数据的表示C1和C2? 对于C1，很自然地选择某种明确的决策树编码方法，其中描述长度随着树中节点和边的增长而增加 对于C2，如果训练分类f(xi)与假设的预计相同，那么就不需要传输有关这些样例的任何信息；如果不同，则要传输更正消息 2003.12.18 机器学习-贝叶斯学习 作者：Mitchell 译者：曾华军等 讲者：陶晓鹏 * 最小描述长度准则（5） MDL准则提供了一种方法在假设的复杂性和假设产生错误的数量之间进行折中，它有可能选择一个较短的产生少量错误的假设，而不是完美地分类训练数据的较长的假设 上面讨论自然给出了一种处理数据过度拟合的方法 Quinlan Rivest描述了应用MDL准则选择决策树大小的几个实验，报告指出，基于MDL的方法产生的决策树的精度相当于第3章中讨论的标准树修剪方法 第125页，6.6节最后一段的含义？ 2003.12.18 机器学习-贝叶斯学习 作者：Mitchell 译者：曾华军等 讲者：陶晓鹏 * 贝叶斯最优分类器 前面我们讨论的问题是：给定训练数据，最可能的假设是什么？ 另一个相关的更有意义的问题是：给定训练数据，对新实例的最可能的分类是什么？ 显然，第二个问题的解决可以将第一个问题的结果（MAP）应用到新实例上得到，还存在更好的算法 2003.12.18 机器学习-贝叶斯学习 作者：Mitchell 译者：曾华军等 讲者：陶晓鹏 * 贝叶斯最优分类器（2） 例子 考虑一个包含三个假设h1, h2, h3的假设空间。 假定已知训练数据时三个假设的后验概率分别是0.4, 0.3, 0.3，因此h1为MAP假设。 若一新实例x被h1分类为正，被h2和h3分类为反 计算所有假设，x为正例的概率为0.4，为反例的概率为0.6 因此，这时最可能的分类与MA