一种基于模型的博弈树搜索策略.pdfVIP

一种基于模型的博弈树搜索策略 高新波谢维信 饭田弘之 (西安电子科技大学电子工程学院) (日本静冈大学计算机科学系) 摘要 本文提出了一种针对于两人零和完备信息的博弈树搜索策略——(D，d)一OM算法。该算法模仿人类的博 弈策略，以对手模型为基础设计自己的投机搜索策略。理论分析得出当对手模型合适时该算法优于传统的rain— 行实验，实验结果证明了本文所提出算法的有效性。 关键词博弈树搜索剪枝 1引 言 在1997年的人机国际象棋大战中，DEEPER 学的伟大胜利。但是，目前以DEEPERBLUE为代表的大多数博弈程序中的搜索算法仍然是基于半世纪前 策略前提之上，即假定对手与我方具有相同强度，操作中不会出错，而且使用同样搜索算法。因此，从这个意 义上说min—max算法是一种保守的策略。 微弱的对手交战中丧失良机下成和棋(Draw)。’。 在实际的博弈中，由于思考时间有限，任何棋手都容易出错，大师也不例外。’。因此，许多大师试图通过 对手现有的走棋步骤来理解他的企图并建立对手模型，然后利用投机的策略改变目前的不利局势或者攻击 对方的弱点以获得更好的局势。本文试图对大师的这一思索过程模型化，提出一种基于对手模型的博弈树搜 机策略，因为它建立在对手可能出错的假设前提之上。 (D，d)一OM算法}第四部分显示以OTHELLO为测试平台的实验结果，最后是结束语及其展望。 2 (D，d)一oM算法 2．1定义殛假设 为了便于清楚地描述该算法，我们给出下列定义和假设。 2．1．1定义1博弈策略 数，SS为搜索策略。 2．1．2定叉2棋手模型 所谓棋手模型就是对应于某个给定棋手的博弈策略。则对于棋手x，他的模型即为虬=(D。，EE， SS，)。 本文基于以下三个基本假设来讨论的(D，d)一OM算法。 2．1．3假设1对手假设 索策略。 2．1．4假设2简化假设 一263— 为了简化问题，本文的讨论都是基于我方已知对手模型假设的。 2．1．5假设3我方假设 本文称我方为max棋手，博弈策略为nL。。=d～EV 也就是说，下文中的(D，d)一OM算法是从我方角度讨论的。 2．2算法描述 可。 fmaxy2一一(P，)， 当P为max节点时 l‘ JV竺一’(P，)=minV—d，当P为深度小于d的min节点时 y凛一’(P)= (1) JminV凛一’， 当P为深度大于d的min节点时 【Ey脚，(P)， 当P为叶节点时 当P为max节点时 fmaxV—d(A)， ‘ V景。(P)一‘minV未。(P。)，当P为min节点时 (2) IEVmm(尸)，当P为叶节点时 图l显示了一个(3，1)一OM算法的例子。树中‘口’表示max 节点，‘o’表示min节点。方框和圆内部的数表示从max棋手角 度利用min—max算法的倒推值，旁边的数分别为max棋手用(3， 1)一OM算法的倒推值(上部)和min棋手用min—max算法的倒推 值(下部)。树中的斜体字为分别用max与min棋手的EV得到的 静态估计值。 本例中由于max棋手利用了对手模型在树根点选择了左 图1(D，d)-()M与M博法比较 枝，而不是按min—rflax策略选择右枝。从而(3，1)一OM算法获得 了比min—max算法更优的倒推值(119)。 2．3算法的性质 min—max算法则是以自己的模型来刻画对方，因此我们有下面的性质： 其具有优于min—max算法的性能，这一点可由下面的定理得出。 定理：在博弈树的根节点R，我们有如下的关系式成立：