粒子群寻优法结合类神经网路.pptVIP

Particle Swarm Optimization-Neural Networks (PSO-NN) 粒子群尋優法結合類神經網路 簡介 起源 生物社會學家對鳥群捕食的行為研究。 原理 我們可以設想這樣的一個場景，一群鳥再隨機搜尋食物。這個區域裡只有一塊食物。所有的鳥都不知道食物再哪裡，但他們知道目前距離食物還有多遠，那麼找到食物的最佳策略是什麼？最簡單的方法就是找尋距離食物最近的鳥之周圍區域及根據自己本身飛行的經驗判斷食物的所在。 簡介 Particle Swarm Optimization (PSO)為James Kennedy 於1995年所提出。 演算法流程 Initial： 將群族做初始化，以隨機的方式求出每一Particle 之初始位置與速度。 Evaluation： 依據fitness function 計算出其fitness value 以作為判斷每一Particle之好壞。 Fine the Pbest： 找出每一Particle 到目前為止的搜尋過程中最佳解，這個最佳解我們將之稱為Pbest。 Fine the Gbest： 找出所有Particle 到目前為止所搜尋到的整體最佳解，此最佳解我們稱之為Gbest。 Update the Velocity： 依據式(1) 與式(2) 更新每一Particle之速度與位置。 回到步驟2. 繼續執行，直到獲得一個令人滿意的結果或符合終止條件為止。 速度更新 Vid ：每一Particle在第d維之速度 i：Particle之編號 d：維度 w ：Inertia Weight c1、c2：學習常數 Rand()：一介於0至1的亂數 Pid ：每一Particle到目前為止，所出現的最佳位置 Pgd ：所有Particle到目前為止，所出現的最佳位置 xid ：每一Particle目前之所在 輸入層 用以表現網路的輸入變數，沒有計算能力，其輸入變數的個數視處理問題的狀況而定 隱藏層 用以處理輸入單元送來的資料，使用線性轉換函數。 輸出層 當網路在訓練時，此輸出為一訓值，將訓練值和實際值的誤差回饋互連接權值(Connect Weight)，以調整權值至最佳狀態，直至網路收斂為止。 Feedforward學習過程 輸入層： 其中， xpi為訓練範例p(pth pattern)第i個輸入層節點。 opi為第i個輸入層神經元的輸出。 Feedforward學習過程 隱藏層： 其中，oph為第h個隱藏層節點輸出，netph為第h個隱藏層節點淨輸入值，而?h為第h個隱藏層節點的偏權值，whi是第h個隱藏層節點對第i個輸入層節點的鏈結權重值， f(netph) 為網路之激發函數。 Feedforward學習過程 輸出層： 其中，為opk第k個輸出層節點輸出， netpk為第k個輸出層節點的淨輸入值，而?k為第k個輸出層節點的偏權值，是wkh第k個輸出層節點對第h個隱藏層節點的鏈結權重值， f(netpk)為網路之激發函數。 坡度遞降法(Gradient Decent Method) 定義成本函數E（Cost function） 其中，Ep為各訓練範例輸出的誤差，E為所有訓練範例的總輸出誤差，dpk為第k個輸出層節點目標值，k為輸出節點數，而p為訓練範例的個數。 坡度遞降法(Gradient Decent Method) 為了要降低成本函數E可經由節點與節點之間的連結權重值調整來達成，即： 其中，?W為節點與節點之間的連結權重值修正量。 坡度遞降法(Gradient Decent Method) 故對成本函數作二個結點之間的連結權重值的偏為分為： ?k定義為： 坡度遞降法(Gradient Decent Method) 相同的，從隱藏層到輸入層，將成本函數對此層的連結權重值的偏微分為： 而 坡度遞降法(Gradient Decent Method) 在得到節點與節點之間的權重值的修正量後，便可帶入修正公式 其中，i、h和k為輸入層、隱藏層、輸出層節點數，η為學習速率（Learning rate）表示控制每次以坡度遞降法最小化誤差函數的調幅，β為動量係數（Momentum coefficient），而t為網路訓練過程的訓練次數（epoch、iteration）。 * * 8. end while 7. Iteration ? iteration +1 6. Move() 5. Updating velocities and positions ( R1, R2, C1, C2) 4. Evaluate ( ) 3. Wh