模式识别李春权第3章概率密度估计.ppt

(C) Vipin Kumar, CSci 5980 Data Mining, Spring 2004 (C) Vipin Kumar, Parallel Issues in Data Mining, VECPAR 2002 模式识别:概率密度函数的估计 目录 3.1引言 3.2参数估计 3.3非参数估计 3.1 引言 先验概率 先验概率的估计： 用训练数据中各类出现的频率估计 经验 类条件概率分布估计的方法 离散 连续 混杂：离散、连续 类条件概率密度估计的方法 类条件概率密度估计的两种主要方法： 参数估计：概率密度函数的形式已知，而参数未知，通过训练数据来估计 最大似然估计 非参数估计：密度函数的形式未知，利用训练数据直接对概率密度进行估计 Parzen窗法 kn-近邻法 目录 3.1引言 3.2参数估计 3.3非参数估计 3.2.1 最大似然估计 Maximum Likelihood (ML) 极大似然原理的直观想法是：一个随机试验如有若干个可能的结果A，B，C，…。若在一次试验中，结果A 出现，则一般认为试验条件对A 出现有利，也即A 出现的概率很大 样本集可按类别分开，不同类别的密度函数的参数分别用各类的样本集来训练。 概率密度函数的形式已知，参数未知，为了描述概率密度函数p(x|ωi)与参数θ的依赖关系，用p(x|ωi ,θ)表示。 最大似然估计 似然函数：