探讨特征萃取要素于小样本分类问题-ntcuir-台中教育大学.pdfVIP

國立台中教育大學教育測驗統計研究所理學碩士論文 指導教授：郭伯臣 博士 探討特徵萃取要素於小樣本分類問題 研究生：張光佑 撰 中 華 民 國 九 十 五 年 一 月 摘要 在進行高維度資料辨識時，以統計為基礎之分類器常常會因為訓練樣本點 數不足的原因遭遇到 Hughes phenomena 。傳統的特徵萃取或特徵選取技術被應 用於克服這個問題。但是在小樣本問題下，高 維度資料進行特徵萃取的時候同 時又會遭遇到組內分散矩陣是奇異或者是接近 奇異。本研究將探討在小樣本問 題下設計特徵萃取的關鍵。 許多研究者證明組內與組間分散矩陣的定義和正規化技巧是設計小樣本分 類問題特徵萃取的要點。在本研究中使用三種不同的特徵萃取，除了常見的主 成分分析和線性區別分析，還有無參數形式的無參數加權特徵萃取。一些常見 以及新的正規化技術被用來討論與比較。除了以上兩點，本文引入特徵值分解 這個要點，並且一同探討這三個因素的效果。 本研究使用高光譜影像資料 Washington DC Mall 以及教育測驗資料來進行 實驗。在高光譜影像資料的訓練樣本 方面分成兩種情況，分別是 ill-posed 以及 poorly-posed ，探討在不同的樣本點數下，各個因素所造成的不同影響。在教育 測驗資料的訓練樣本方面分成兩種情況，類別訓練樣本點數分別為 10 與 20 兩 種。在本文中除了使用傳統的最大概似分類器 ，又加入了最近相鄰法以及支撐 向量機兩種不同特性的分類器進行比較。 實驗結果證實，不同的正規化方法需要配合不同的特徵值分解，以達到最 佳的效能。其中以無參數形式的分散矩陣、 RFE 正規化技術、EIG 特徵值分解 法，和 ML 分類器的組合，對處理小樣本影像辨識問題有最佳的效果。 關鍵字 ：特徵萃取、正規化、高維度影像分類、特徵值分解 I ABSTRACT For high dimensional data classification, statistics based classifier suffers from the Hughes phenomena because of limited training data. Feature Extraction prevents high dimensional data classification from this problem. It suffers from the singularity of the with class scatter matrix or nearly singular. In this thesis, the key points of designing a feature extraction will be explored in small sample size. Many researches show that the definitions of within-class and between-class scatter matrices, and regularization techniques are the key points of designing a feature extraction for small sample size classification problem. Three kinds of different feature extractions, PCA, LDA, and NWFE, are used in this thesis. Some popular and new regularization techniques are compared. Eigenvalue de