机器学习Bayes学习.pptVIP

GMMS的参数估计 EM算法根据当前假设?1...?k，不断地再估计隐藏变量zij的期望值，然后用这些隐藏变量的期望值重新计算极大似然假设 先将假设初始化为h=?1, …, ?k 计算每个隐藏变量zij的期望值E[zij] 计算一个新的极大似然假设h’=?’1, …, ?’k，假定每个隐藏变量zij所取值是第一步得到的期望值E[zij]。 将假设替换为h’=?’1, …,?’k，然后循环 GMMS的参数估计-EM算法 E[zij]正是实例xi由第j个正态分布生成的概率 第二步，使用第一步得到的P[zij]来导出新的极大似然假设 多项分布及其数学期望 假设A1,A2,...,An是某一试验下的完备事件群，即事件两两互斥，分别以p1,p2,...,pn记为事件A1,A2,...,An发生的概率。现将试验独立重复N次，以Zi记为在N次试验中事件Ai出现的次数，Z=(Z1,Z2,...,Zn)为n维随机向量。则Z的概率分布就叫做多项分布。对于N次独立重复试验，事件A1,A2,...,An发生的次数分别为k1,k2,...,kn发生的概率是： GMMS的参数估计-EM算法 第二步中表达式类似于求均值，只是变成了加权样本均值 EM算法的要点： 当前的假设用于估计未知变量，而这些变量的期望值再被用于改进假设 可以证明 算法的每一次循环中，EM算法能使似然P(D|h)增加，除非P(D|h)达到局部最大， 因此算法收敛到一个局部最大似然假设 GMMS的参数估计-EM算法 贝叶斯问题框架 要估计k个正态分布的均值?=?1...?k 观察到的数据是X={xi} 隐藏变量Z={zi1,...,zik}表示k个正态分布中哪一个生成xi 用于表达式Q(h’|h)的推导 单个样本的概率 GMMS的参数估计-EM算法 所有实例的概率的对数 计算期望值E GMMS的参数估计-EM算法 求使Q函数最大的假设M 解上式得到 另外 小结 概率学习方法利用关于不同假设的先验概率，以及在给定假设时观察到不同数据的概率的知识 贝叶斯方法确定的极大后验概率假设最可能成为最优假设 朴素贝叶斯分类器增加了简化假定：属性值在给定实例的分类时条件独立 EM算法提供了一个通用的算法，在存在隐藏变量时进行学习。算法开始于一个任意的初始假设，然后迭代地计算隐藏变量的期望值，再重新计算极大似然假设，这个过程收敛到一个局部极大似然假设和隐藏变量的估计值,此过程可以用 MAP进行解释 * * 第3.2节 贝叶斯学习 内 容 贝叶斯理论概述 Brute-Force贝叶斯分类器 两种概率学习算法 贝叶斯最优分类器 朴素贝叶斯分类器 EM算法与混合模型 概述 贝叶斯推理提供了一种概率手段，基于如下的假定：待考察的量遵循某概率分布，且可根据这些概率及已观察到的数据进行推理，以作出最优的决策。 贝叶斯推理为衡量多个假设的置信度提供了定量的方法 贝叶斯推理为直接操作概率的学习算法提供了基础，也为其他算法的分析提供了理论框架 贝叶斯学习算法与机器学习相关的两个原因： 贝叶斯学习算法能够计算显示假设概率 贝叶斯方法为理解多数学习算法提供了一种有效的分析手段，而这些算法不一定直接操纵概率数据，比如 决策树 神经网络学习：选择使误差平方和最小化的神经网络 概述 贝叶斯学习方法的特性 观察到的每个训练样例可以增量地降低或升高某假设的估计概率。 先验知识可以与观察数据一起决定假设的最终概率，先验知识的形式是： 1）每个候选假设的先验概率； 2）每个可能假设在可观察数据上的概率分布 贝叶斯方法允许假设做出不确定性的预测 新的实例分类可由多个假设一起做出预测，用它们的概率来加权 贝叶斯方法计算复杂度有时较高，它们可作为一个最优的决策标准衡量其他方法 贝叶斯方法的难度 难度之一：需要概率的初始知识， 当概率预先未知时，可以基于背景知识、预先准备好的数据以及基准分布的假定来估计这些概率 难度之二：确定贝叶斯最优假设的计算代价比较大 在某些特定情形下，大多通过条件独立性假设,降低计算代价 内 容 贝叶斯理论概述 Brute-Force贝叶斯分类器 介绍两种直接操作概率的学习算法 贝叶斯最优分类器 朴素贝叶斯分类器 EM算法与混合模型 贝叶斯法则 机器学习与数据挖掘的任务 在给定训练数据D时，确定假设空间H中的最佳假设。 最佳假设 一种方法是把它定义为在给定数据D以及H中不同假设的先验概率的有关知识下的最可能假设 贝叶斯理论提供了一种计算假设概率的方法 基于假设的先验概率、给定假设下观察到不同数据的概率以及观察到的数据本身 先验概率和后验概率 用P(h)表示在没有训练数据前假设h拥有的初始概率。P(h)被称为h的先验概率。 先验概率反映了关于h是一正确假设的机会的背景知识 如果没有这一先验知识