黑白棋自我学习的改进策略-嘉义大学.pdfVIP

2004/6/1 黑白棋自我學習的改進 策略 賴泳伶 國立嘉義大學資訊工程學系 張孝凡 國立嘉義大學資訊工程學系 摘要 本文提出一個黑白棋程式的自我學習策略。我們首先以動態程序 （dynamic programming ）的方式改進alpha-beta search 的效率，再利用動態搜尋時間的方式 進行自我對奕 ，作開局資料庫與圖樣辨識（pattern recognize ）的學習 ，讓程式的 自我學習能夠在微幅的失真度下 ，大幅提昇學習速度 。 經過調整圖樣辨識區域與測試後，證實我們的自我學習策略能在小幅度的失 真下，顯著提昇自我學習效率 。這個策略經過修正後 ，也可以應用在其它棋戲程 式上 ，作為原演算法的輔助，提昇棋戲程式的棋力 。 關鍵詞 ：黑白 棋、機器學習、自我學習 、人工智慧 1.研究動機與目的 電腦棋戲程式運用人工智慧演算法，經過各方先進多年的研究與改進 ，在部 份的棋戲中，已設計出許多遠勝於人腦的程式系統。黑白棋程式的演進 ，就屬其 中之一。在黑白棋的規則中，限制落子後必須能翻對手棋子 ，才是合法棋步[5] ， 因此每一手棋的合法棋步侷限在 1 （即使是pass ，也是一種合法棋步）至 15 步 上下(超過 15 較少出現) ，平均約在 8 步左右 。這樣的分支度相較於其它的棋戲 （如圍棋平均超過200 步、象棋概估至少超過50 步…），可說遠低得多。因此一 般以min-max 搜尋法 ，配合alpha-beta cut 來設計的黑白棋程式 ，即使審局函數 （evaluation function ）的設計並不十分講究 ，在現今電腦的高速執行下 ，經過多 層的搜尋後，均能有良好的棋力表現。此外由於黑白棋每下完一手棋，必須翻轉 對手被包夾的棋子，因此棋面上最多可產生20 顆棋子的變化（自己下一顆棋子+ 1 2004/6/1 翻轉對手 19 顆棋子），如此複雜的盤面演化 ，使得人腦難以推算多步以後的盤 面 ，更難以分析多步以後的利弊得失。因此，若以目前世界頂尖的黑白棋程式 ， 與人類黑白棋冠軍對奕 ，結果可說程式將會獲得壓倒性的勝利 。 從搜尋的角度分析，黑白棋從開局到終局，平均雙方共落子 60 手 ，若要搜 尋出第一步棋的最佳解 ，其複雜度為O(n60) ，依前述平均每一手分支度為8 代入 54 n ，則約為 1.5*10 。這樣的高複雜度告訴我們 ，程式無法在短時間內 ，以搜尋 的方式 ，完成最佳解的搜尋 （事實上即使搜尋幾百萬世紀也搜尋不完）。再從盤 面變化的組合來分析 ，黑白棋使用的是8*8 的棋盤，每一格可以有空點、黑棋與 白棋三種變化，因此盤面最多有364 （約為3.4*1030 ）種組合 ，即使考慮對稱性 ， 並將部份不可能出現（不合理）的盤面扣除掉，其空間複雜度仍會是個天文數字 。 因此在黑白棋的世界裏，雖然人腦的棋力早已遠不如電腦，但在先手或後手必勝 還沒有被證明出來之前 ，程式的棋力 ，仍舊有再進步的空間。 為追求程式棋力的精進，最直接的做法 ，就是改進審局函數的精確度 ，與增 加搜尋深度[2] 。這二種做法是魚與熊掌 ，無法得兼 。舉例來說 ，能佔得棋盤的 角與邊的棋步，可能是比較好的棋步 ；或是能迫使對方無棋可下的棋步 ，也可能 是較佳的選擇 。於是藉由在審局函數中 ，加入這些分析 ，使局勢判斷更為精確。 但是這些被額外加入的分析 ，勢必會增加審局函數的時間複雜度。也就是說 ，要 達到原有的搜尋深度 ，必須耗費更多的搜尋時間 ；或是在相同的搜尋時限內，付 出搜尋深度減少的代價。 使程式棋力提昇的另一種做法，則是製做開局資料庫系統。這個做法在象棋 [1]與在黑白棋[3]的應用上都已被提出 ，且已知在象棋上有良好的表現 。這類資 料庫系統的目的，在大量蒐集棋譜 ，藉由資料的累積，統