第3章概率密度函数的估计参数估计.pptVIP

期望最大化（EM） 期望最大化（EM） 例: 估计k个高斯分布的均值 问题简化 K=2 正态分布的选择基于均匀概率进行 正态分布的方差?2已知，均值?1, ?2未知 学习任务 输出:均值?=?1, ?2的估计数值 期望最大化（EM） 步骤1: 假定当前假设?’=?1, ?2成立，计算每个隐藏变量zij的期望 zij表示第i个样本点是第j个高斯过程生成的概率 步骤2: 假定隐藏变量zij所取的值为第一步中得到的期望值E[zij],然后计算一个选的极大似然假设? ，用其替代原有参数?’ 期望最大化（EM） 算法步骤 初始参数估计，将未标记的样本按贝叶斯分类方法进行类标注。 反复迭代E步骤和M步骤，直到收敛。 E步骤：对于每个未标记的样本，按下式计算类标记的期望值。 M步骤：利用E步骤计算出的期望值，按下式用已标记样本和未标记样本重新估计新的分类器参数。 期望最大化（EM） EM算法的一般表述 估计(E)步骤:使用当前假设?’和观察到的数据X来估计Y上的概率分布以计算Q(?|?’) 最大化(M)步骤:将假设?’替换为使Q函数最大化的假设? 贝叶斯估计 贝叶斯估计的基本思想 基于最小风险的贝叶斯决策 希望决策方法使得风险最小化 参数估计 希望θ的估计数值θ尽可能的准确 即: 希望风险最小化 需要构造一个衡量θ准确程度的函数 ^ ^ 贝叶斯估计 风险 损失函数: λ (θ, θ) 待估参数θ和学习样本x=(x1,x2,…xN)T是随机变量 则，风险R为: ^ 贝叶斯估计 风险 整理得 贝叶斯估计 贝叶斯估计 如果θ的估计值θ使得条件风险R(θ|x)最小，则称θ是关于θ的贝叶斯估计量 ^ ^ ^ 贝叶斯估计 平方误差损失函数时的估计算法 损失函数: λ (θ, θ)=(θ- θ)2 定理: 如果损失函数为二次函数，即λ (θ, θ)=(θ- θ)2，则θ的贝叶斯估计量θ是在给定x时θ的条件期望，即 ^ ^ ^ ^ ^ 贝叶斯估计 步骤 ① 确定θ的先验分布p(θ),。 ②用样本x=(x1, x2,…. xN)T求出样本的联合概率密度分布p(x| θ)，它是θ的函数。 ③利用贝叶斯公式,求θ的后验概率 ④利用定理求贝叶斯估计量 贝叶斯估计 一维正态分布的参数估计 总体的分布形式: μ未知，但概率分布已知 贝叶斯估计 一维正态分布的参数估计 计算联合概率密度分布p(X| μ) : 计算求μ的后验概率p(μ| X) : 贝叶斯估计 一维正态分布的参数估计 计算求μ的后验概率p(μ| X) : 利用待定系数法，即可求得两个参数的值 贝叶斯估计 一维正态分布的参数估计 利用定理求贝叶斯估计量: 计算求μ的后验概率p(μ| X) : 贝叶斯估计 贝叶斯学习 参数估计存在的问题 最大似然估计存在的问题 贝叶斯估计的优点:避免过学习 观测 出现结果 U的最大似然估计 第1次观测 正面 1 第2次观测 背面 0.5 第3次观测 正面 0.67 第4次观测 正面 0.75 贝叶斯学习 贝叶斯学习基本思想 已知: 样本X=(x1, x2,…. xN)T 问题: 通过样本集推断总体分布p(x|X) 总体分布形式已知 问题转化为估计参数θ的估计问题，即: 然后再利用p(θ |X) 估计p(x|X) 贝叶斯学习 贝叶斯学习基本思想 根据独立性假设 贝叶斯学习 例:一维随机变量x服从均匀分布 θ未知，但分布概率已知 给出一组观测值X={4,7,2,8}，估计p(x|θ) 贝叶斯学习 最大似然估计方法？ 似然函数 θ的估计值 X的分布函数 贝叶斯学习的方法？ 一组观测值X={4,7,2,8} θ取多少，lnl(θ)最大？ θ最小能取多少？ 贝叶斯学习 先观察随着N的增加，p(θ|X)的变化 如果没有观测值(N=0) ， 则p(θ|X0)为: 如果观测到一个x数值， x 1=4,则p(θ|X1)为: N=1 贝叶斯学习 先观察随着N的增加，p(θ|X)的变化 如果观测到2个x数值， x 2=7,则p(θ|X2)为: N=2 贝叶斯学习 先观察随着N的增加，p(θ|X)的变化 如果观测到3个x数值， x 3=2,则p(θ|X3)为: N=3 贝叶斯学习 先观察随着N的增加，p(θ|X)的变化 如果观测到4个x数值， x 4=8,则p(θ|X4)为: N=4 贝叶斯学习 贝叶斯学习 最后，根据p(θ|X)和下式得到p(x|X) 最大似然估计 正态分布的监督参数估计 监督参数估计 监督 不同类别的样本有不同的概率密度函数 用每个类别自己的样本估计该类别的概率密度函数 每个样本属于那个类别是已知的 参数估计 概率密度函数的总体分布形式已知 某个或某些类别的参数未知 非监督参数估计 非监督