概率密度函数的估计课件.pptx

概率密度函數的估計

參數估計——包括監督參數估計和非監督參數估計監督參數估計——樣本所屬的類別及類條件總體概率密度函數的形式為已知，而表徵概率密度函數的某些參數是未知的非監督參數估計——已知總體概率密度函數的形式但未知樣本所屬類別，要求推斷出概率密度函數的某些參數參數估計的方法——最大似然估計和Bayes估計非參數估計——已知樣本所屬類別，但未知總體概率密度函數的形式，要求我們直接推斷概率密度函數本身參數估計的方法——Parzen窗法和近鄰法返回本章首頁

參數估計的基本概念（1）統計量（2）參數空間（3）點估計、估計量和估計值（4）區間估計返回本章首頁

4.1最大似然估計返回本章首頁這裏我們首先作如下的合理假設：1）估計的參數是確定（非隨機）而未知的量；2）樣本集按類別分開，假定有c類，則可分成個樣本集，其中中的樣本都是從概率密度為的總體中獨立的抽取出來的；3）類條件概率密度函數具有某種確定的函數形式。為表示同有關，記為。4）假定中的樣本不包含關於的任何資訊，也就是說不同類別的參數在函數上是獨立的，即中的樣本只對提供有關的資訊，這樣就可對每類進行獨立處理。

返回本章首頁假定某一類樣本集由於樣本是獨立抽取的似然函數的定義個隨機變數的似然函數是個隨機變數的聯合密度，這個密度可以看成是的函數。具體的說，若是獨立地抽自密度總體的樣本，那麼似然函數就是

返回本章首頁極大似然估計的基本思想如果在一次觀察中一個事件出現了，那麼我們就認為該事件出現的可能性很大。事件在一次觀察中出現了，那麼我們就可以認為達到了極大值。使似然函數極大化的值就是的極大似然估計。直觀上看，這個值是同實際觀察到的樣本最一致的參數值。用一個簡單的例子來解釋極大似然估計的基本思想。如下圖所示，一維樣本服從正態分佈，並且方差已知，要求通過抽取到的樣本集用極大似然估計得到它的均值。

返回本章首頁

返回本章首頁設是有個分量的列向量用表示梯度算子為對數似然函數

返回本章首頁

返回本章首頁

返回本章首頁

返回本章首頁

4.2Bayes估計和Bayes學習返回本章首頁1Bayes估計這裏我們先回顧一下前面講述的最小風險Bayes決策。——觀察或測量到的d維模式特徵向量；——狀態空間——決策空間——損失函數，表示真實狀態為而所採取的決策為時所帶來的某種損失。

返回本章首頁給定，我們採取決策情況下的條件期望損失：是特徵空間中取任意值的隨機變數，條件風險的期望表示採取決策總的平均損失。稱為Bayes風險，使最小的決策稱為Bayes決策。

返回本章首頁Bayes決策確定的真實狀態（模式類）Bayes估計根據一個樣本集，找出估計量，估計所屬總體分佈的某個真實參數使帶來的Bayes風險最小Bayes決策問題Bayes估計問題樣本樣本集決策估計量真實狀態真實參數狀態空間是離散空間參數空間是連續空間先驗概率參數的先驗分佈

返回本章首頁令為代替所造成的損失，對於一個觀測向量集合，當用作為的估計時，在觀測條件下的條件期望損失為考慮到的各種取值，我們應求在空間中的期望，。

返回本章首頁Bayes估計的基本思想：所求得的的估計值應使估計損失的期望最小，這種使或等價地使取最小值的的估計值稱為的Bayes估計。對於不同的，可得到不同的最佳Bayes