图形识别期末报告分类器分析.DOC

圖形識別期末報告分類器分析 課程老師：戴紹國老師 學生張偉倫 時間：2012/01/07 目錄 一、maximum likelihood estimation 二、Parzen Window Method 三、k-Nearest neighbor estimation 3 四、Perceptron_Batch linear classify 五、support vector machines 六、實驗結果 4 七、結論 6 MAXIMUM LIKELIHOOD ESRIMATION (最大概似估計法) 這種方法是利用概似函數 L: 由樣本資訊 y1, … , yn (定義域) 去估計母體參數 θ1, … ,θk(值域)，例如：某個研究團隊想要調查全台灣大學生每天的上網時數，但又不可能訪問到所有的大學生，所以只從某個地區的大學生進行調查，且調查的資料呈獻常態分佈，並有平均值與變異數，透過MLE的估計，可以知道這地區的大學生每天平均上網時數是全台灣大學生每天平均上網的近似值。 適用的特徵空間：比較適用在資料量較集中時。 不適用的特徵空間：比較不適用在資料量較分散時。 優點：具有一致性估計式、具漸性有效性。 缺點：必須知道母體分配，求解較複雜。 限制：需要有隨機樣本，並尋找樣本統計量做為母體參數的估計值。 PARZEN WINDOW METHOD 又稱核密度估計，在機率論中用來估計未知的密度函數，屬於非參數檢驗方法之一。 適用的特徵空間： 比較適用在資料的密度不能相交時。 不適用的特徵空間： 比較不適用在資料密度相交時。 優點：這種方法可以解決最大似然估計偏差問題。 缺點：需要大量的樣本才會有好的效果。 限制：需要大量的樣本數 KN-NEAREST NEIGHBOR ESRTIMATION 簡稱KNN，是一種非監督式的學習法是參考最近k個鄰居的答案來做判斷 適用的特徵空間：比較適用在群聚分明的區域。 不適用的特徵空間：比較不是用於群聚相交的區域。 優點：利用非監督式學習方式自動，目標辨識和數位信號處理。 缺點：計算的量需要非常高。 限制：比較數目與群聚數盡量不要太相似，要不然就無法判斷新的點屬於哪 一類。 PERCEPTRON BATCH LINEAR CLASSIFY (批次線性分類的感知機) 感知機可以說是最早的人工神經網路。 適用的特徵空間：比較適用在資料複雜度較低的區域。 不適用的特徵空間：比較不適用在資料複雜度較高的空間。 優點：不用很大的計算量。 缺點：參數如果設定不好，會無法達到收斂效果。 限制：訓練資料全部輸入後才能執行。 SUPPORT VECTOR MACHINES (支援向量機支援向量機是一種可用來做分類或迴歸的方法。給予一群已經分類好的資料，經由訓練獲得一組模型。，支援向量機據先前資料訓練出的模型去預測所屬的分類。支援向量機必須先有已經分類好的資料作為訓練用，所以支援向量機是監督式學習的方法之ㄧ。 不適用特徵空間：比較不適用於資料量大的時候。 優點：能處理線性不可分的情況並有效降低分類器分類錯誤的機率。 缺點：需要很大的計算量，訓練建模型和預測時間較長。 限制：特徵提取需要具備代表性。 實驗結果 方法比較表 訓練樣本數 1000 2500 移動距離 d=1.5,e=4 d=1.5,e=3 ML 54.68% 97.24% Parzen Window size = 2 83.96% 89.74% KNN 10個鄰近點 90.16% 94.04% ML 訓練樣本數 = 1000 (如下圖) ML 訓練樣本數 = 2500 (如下圖) Parzen 訓練樣本數 = 1000 (如下圖) Parzen 訓練樣本數 = 2500 (如下圖) KNN 訓練樣本數 = 1000 (如下圖) KNN 訓練樣本數 = 2500 (如下圖) 從方法比較來看ML必須依賴較多的訓練樣本，分類的準確率才會比較高， 而Parzen跟KNN在訓練樣本數1000跟2500上進行分類，所獲得的準確率差異並不大，其中KNN又比Parzen在分類上還要好。 5