资料采矿方法论III培训 资料.ppt

神經元的結構 n表示變數的個數 xi表示第i個輸入變數 Wij表示第j個神經元的第i個變數的權重 Θj是第j個神經元的閾值 Pj表示第j個神經元的組合函數 f（?）是神經元的啟動函數 yi=f(Pj)是第j個神經元的輸出值。 ： ： x1 x2 xn w1j w2j wnj yj Pj f(Pj) 啟動函數f（?）類型 線性啟動函數： 在輸入的基礎上產生線性的輸出值， 線性啟動函數和回歸模型表達方式非常近似。 2. 階梯（step）啟動函數： 階梯啟動函數又稱閾值（threshold）啟動函數。當 和 =0時，得到符號啟動函數， 此時電位取負值時，函數值為0，反之則為1。 Sign function a +1 -1 0 fh (a) Step function a +1 fh (a) t 3. Sigmoid（或稱S型）啟動函數 Sigmoid啟動函數輸出值界於-1和1， 或是0和1之間，是單調遞增函數，函數型數有許多種， 最常用的是Logistic函數。 式中α是正常數，Sigmoid啟動函數是最常用啟動函數， 非線性函數，但是易於微分和瞭解。 +1 Threshold logic function Sigmoid function +1 a a 0 0 ft (a) fs (a) 4. Gaussian啟動函數 鐘型曲線（bell-shaped curve）， 輸出值在0和1之間，其中 是均值，V是函數事先定義的方差。 NN Activation Functions 類神經網路的訓練 類神經網路的訓練 要使得類神經網路能正確的運作，則必須透過訓練（training）的方式，讓類神經網路反覆的學習，直到對於每個輸入都能正確對應到所需要的輸出 類神經網路學習前，必須建立出一個訓練樣本（training pattern）使類神經網路在學習的過程中有一個參考，訓練樣本的建立來自於實際系統輸入與輸出或是以往的經驗。 例如：洗衣機洗淨衣服的時間，與衣服的質料、數量、骯髒的程度有關，因此我們必須先針對不同質料、數量、骯髒的程度的衣服統計出洗衣所需的時間，建立訓練樣本。不同衣服的質料、數量、骯髒程度就是類神經網路的輸入，而洗衣所需的時間則為類神經網路的目標值（target），也就是類神經網路的參考輸出。 神經網路的訓練 訓練樣本的選擇非常重要，直接影響類神經網路工作性能，若訓練樣本不正確、太少或是太相似，類神經網路的工作區間與能力將大打折扣。 訓練樣本越多、越正確、差異性越大，類神經網路的能力就越強。 類神經網路訓練的目的，就是讓類神經網路的輸出越接近目標值，也就是相同的輸入進入到系統與類神經網路，得到的輸出值也要相同。 機率理論的種類 二、經驗機率 又稱相對頻率機率，是指一實驗重複實行，則某事件發生的機率定為在長期的實行中，該事件出現的次數與實驗總次數之比 P(E)= lim n(E) n→∞ n n:隨機實驗之總次數，n(E):事件E出現的次數 三、主觀機率 研究者根據自己的判定，給予機率，只要滿足P(E)→[0,1]即可 事件機率 聯合機率(joint probability) 表示A事件和B事件同時發生的機率= P(A ∩ B) 邊際機率(marginal probability) 在A和B的樣本空間中，只看A或B的機率，稱之邊際機率 條件機率(conditional probability) 在發生A的條件下，發生B的機率，稱為P(B|A) 贊成 (B1) 反對 (B2) 合計 男性 (A1) 40 120 160 女性 (A2) 10 30 40 合計 50 150 200 聯合機率：P (男性，贊成)=P(A1∩B1)=40/200=0.2 邊際機率 : P (贊成)=P(B1)= P(A1∩B1)+ P(A2∩B1)=0.25 條件機率 : P (贊成|男性)=P(B1|A1)= P(A1∩B1)/ P(A1)=0.25 乘法法則(Multiplicative rule) 　 Ｐ(Ａ∩Ｂ) Ｐ(Ｂ│Ａ)＝ ───── Ｐ(Ａ) Ｐ(Ａ∩Ｂ)＝ Ｐ(Ｂ)×Ｐ(Ａ│Ｂ) ＝ Ｐ(Ａ)×Ｐ(Ｂ│Ａ) Ｐ(Ａ∩Ｂ) Ｐ(Ａ│Ｂ)＝ ───── Ｐ(Ｂ) 獨立事件 設事件Ａ和事件Ｂ滿足以下條件： Ｐ(Ａ)＞０，Ｐ(Ｂ│Ａ)＝Ｐ(Ｂ) Ｐ(Ｂ)＞０，Ｐ(Ａ│Ｂ)