标准的竞争学习规则定义了突触权重.PPTVIP

* * 概述 Hebbian 學習 廣義的 Hebbian 學習演算法 競爭學習 自組織計算對應 :Kohonen 神經網路 總結 第 8 講 人工神經網路: 無監督學習 e 神經網路最主要的特性就是具有從環境中學習的能力，透過學習改善性能。到目前為止，我們介紹的都是有監督的或主動的學習—跟隨外部給網路放入一系列訓練集的“老師”或指導員學習。但是也存在另一種類型的學習：無監督學習。 概述 和有監督的學習相比，無監督學習或自組織學習不需要外部的老師。在訓練期間，神經網路接收到許多不同的輸入型樣，發現這些型樣的重要特點，學習如何將輸入資料分為合適的類別。無監督學習類比大腦的神經生物組織。 無監督學習演算法旨在實作快速學習。 在競爭學習中，神經元要透過競爭才能被激勵。 在競爭中勝出的神經元叫做“勝者通吃”的神經元。 競爭學習 競爭學習的基本思想在20世紀70年代初期就提出了。 但是直到20世紀80年代後期這種方法才引起注意，當時Teuvo Kohonen提出了一種叫做自組織特徵對應的特殊類型的人工神經網路，這種對應就是基於競爭學習的。 人類的大腦是由大腦皮層控制的，大腦皮層是由數十億神經元和千億的突觸組成的，結構非常複雜。大腦皮層既不統一也不均勻，它包括許多區域，這些區域透過其厚度和其中所包含的神經元的類型加以區分，不同的區域負責控制人類不同的活動(如運動、視覺、聽覺和體覺)，因此它和不同的感官輸入是相連接的。我們可以說，每個感官輸入都會對應到大腦皮層的相對應區域；換言之，人類大腦皮層是一個自組織計算對應。 什麼是自組織特徵對應？ 特徵對應 Kohonen 模型 Kohonen 網路 Kohonen模型提供了拓撲對應，這種拓撲對應將固定數目的輸入型樣從輸入層放置到高維輸出層(亦稱Kohonen層)。 Kohonen網路訓練開始時，勝出神經元周圍有大量神經元，隨著訓練過程不斷進行，周圍神經元的數量會逐漸減少。 Kohonen 網路的架構 橫向連接用來在神經元之間建立競爭。輸出層中激勵準位最高的神經元才會勝出(即成為勝者通吃的神經元)。該神經元是產生輸出信號唯一的神經元，其他神經元的激勵在競爭中被壓制。 橫向回授連接根據與獲勝神經元之間的距離產生刺激或抑制的效應。實作這個功能需要使用墨西哥帽子函數(Mexican hat function)，該函數描述了Kohonen層神經元間的突觸權重。 邊緣連接的墨西哥帽子函數 在Kohonen網路中，神經元透過將權重從未激勵的連接變為激勵的連接來學習。只有勝出的神經元和其周圍神經元可以學習。如果一個神經元不能回應給定的輸入型樣，這個神經元就不會學習。 標準的競爭學習規則定義了突觸權重wij的改變量Δwij為： 其中xi為輸入信號，α為學習率 參數，學習率參數的取值範圍在0到1之間。 競爭學習規則的影響在於使勝出神經元 j 的突觸權重向量Wj向輸入型樣X趨近。匹配準則是等於向量間的最小歐幾里德距離。 n×1的向量X與Wj間的歐幾里德距離為： 其中xi和wij分別為向量X和Wj的第i個元素。 為了確定與輸入向量X最佳匹配的勝出向量 jX，可使用如下條件： 其中m是Kohonen層神經元的數量。 例如，假設二維輸入向量X輸入到有3個神經元的Kohonen網路中： 初始權重向量：Wj 為 用最小歐幾里德距離來確定勝出(最匹配)的神經元 jX : 神經元3勝出，根據公式(6-36)的競爭學習規則，對權重向量W3進行更新。 在疊代次數為 p+1 時，權重向量W3更新為: 透過每次疊代，勝出的神經元3的權重向量W3和輸入向量X會越來越接近。 競爭學習演算法 用介於0～1之間的亂數對突觸權重進行初始化設定，將學習率參數α設為一個小的正數。 步驟 1:初始化 用輸入向量 X 激勵Kohonen網路，在疊代次數為 p 時，用最小歐幾里德距離找到勝出的神經元 jX： 其中n為輸入層的神經元數量，m為輸出層(即Kohonen層)的神經元數量。 步驟 2:激勵和相似匹配 *