机器学习和模式识别-第3章_概率密度函数的估计.pdf

第三章 概率密度函数的估计 3.1 引言 计算贝叶斯后验概率进行决策 p (x  )P ( ) P ( x) i i i 2 p (x  )P ( ) j j j 1 实现中有问题吗?能直接计算吗? 以疾病诊断问题为例 问题: 先验概率未知,医生可大致估计 类条件概率密度呢? 只能通过已知的一些数据去估计 概率密度函数的估计 设计贝叶斯分类器 p (x  ) 和 P( ) 第一步, 利用样本集估计 i i ˆ ˆ P( ) 分别记为 p (x  ) i i 和 第二步, 将估计量代入贝叶斯决策规则中 是否能达到理论结果? ˆ p (x  ) N  时 p (x  ) 收敛于 i i ˆ ˆ P( ) 收敛于 P( ) i i 由样本集估计总体概率密度的方法可分为: (1)监督参数估计 : 样本所属类别及类条件总体概率密度 函数形式已知,表征概率密度函数的某些参数未知. (2)非监督参数估计: 已知总体概率密度函数形式但未知 样本所属类别,要求推断出概率密度函数的某些参数. (3) 非参数估计: 已知样本所属类别,未知总体概率密度 函数的形式,直接推断概率密度函数本身. 3.2 参数估计的基本概念 (1)统计量: 样本中包含着总体的信息,针对不同要求构 造出样本的某种函数,这种函数在统计学中称统计量. (2) 参数空间: 假设总体概率密度函数形式已知,未知分 布中的参数  的全部可容许值组成的集合称为参数空间,记为 (3) 点估计、估计量、估计值：点估计问题就是要构造 ˆ 一个统计量 作为参数 的估计 d (x ,x ,...x )   1 2 N ˆ 称为 的估计量 (i) (i) x ,...x  如果 1 N 是属于类别 的几个样本