分类器的设计课件.pptVIP

若四個樣本變成：ω1={(0,0)T,(1,1)T}ω2={(0,1)T,(1,0)T}解：取b1=(1,1,1,1)Tc=1W1=X+b1=(0,0,0)Te1=XW1-b1=(-1,-1,-1,-1)T0系統線性不可分C為校正係數,取0＜C≤1在演算法進行過程中，應在每一次迭代時，檢測ek的值。只要出現ek0，迭代就應立即停止。?x2x111六Fisher分類準則現在討論通過映射投影來降低維數的方法。X空間X=-WTX-W00X∈ω1X=-WTX-W00X∈ω2映射Y空間Y=WTX-W00X∈ω1Y=WTX-W00X∈ω2把X空間各點投影到Y空間得一直線上，維數由2維降為一維。若適當選擇W的方向，可以使二類分開。下麵我們從數學上尋找最好的投影方向，即尋找最好的變換向量W的問題。w(y)wy1y2x2x1ω1ω2投影樣本之間的分離性用投影樣本之差表示投影樣本類內離散度:i=1,2i=1,2類間散佈矩陣上式就是n維x空間向一維y空間的最好投影方向，它實際是多維空間向一維空間的一種映射。其中Sw為類內散佈矩陣,Sb為類間散佈矩陣現在我們已把一個n維的問題轉化為一維的問題。現在一維空間設計Fisher分類器:W0的選擇?????????????分類器的設計§3-1線性分類器的設計上一章我們討論了線性判別函數形式為:g(x)=WTX其中X=(X1,X2…Xn)n維特徵向量W=(W1,W2…Wn,Wn+1)n維權向量通常通過特徵抽取可以獲得n維特徵向量，因此n維權向量是要求解的。求解權向量的過程就是分類器的訓練過程，使用已知類別的有限的學習樣本來獲得分類器的權向量被稱為有監督的分類。利用已知類別學習樣本來獲得權向量的訓練過程如下已知x1∈ω1,通過檢測調整權向量，最終使x1∈ω1已知x2∈ω2,通過檢測調整權向量，最終使x2∈ω2這樣就可以通過有限的樣本去決定權向量x1x2…….xn1w1w2wnwn+1∑0x∈ω1檢測(已知類別)W1X1W2X2WnXnWn+10x∈ω2g(x)=wTx利用方程組來求解權向量對二類判別函數g(x)=W1X1+W2X2+W3已知訓練集：Xa,Xb,Xc,Xd且當(Xa,Xb)∈W1時g(x)＞0當(Xc,Xd)∈W2時g(x)＜0設Xa=(X1a,X2a)TXb=(X1b,X2b)TXc=(X1c,X2c)TXd=(X1d,X2d)T判別函數可聯立成：X1aW1+X2aW2+W3＞0①X1bW1+X2bW2+W3＞0②X1cW1+X2cW2+W3＜0③X1dW1+X2dW2+W3＜0④求出W1,W2,W3將③④式正規化，得-X1cW1-X2cW2-W30-X1dW1-X2dW2-W30所以g(x)=WTX0其中W=(W1,W2,W3)T為各模式增1矩陣為N*(n+1）矩陣N為樣本數，n為特徵數訓練過程就是對已知