六子棋机器博弈关键技术分析..ppt

封面 123334 * // 找到一个图片：两个人对弈。制作一个图片：其中一个人替换成计算机。 // 奕天网调查！（人机对弈的情况） * // 找到一个图片：两个人对弈。制作一个图片：其中一个人替换成计算机。 // 奕天网调查！（人机对弈的情况） * * // 找到一个图片：两个人对弈。制作一个图片：其中一个人替换成计算机。 // 奕天网调查！（人机对弈的情况） * // 找到一个图片：两个人对弈。制作一个图片：其中一个人替换成计算机。 // 奕天网调查！（人机对弈的情况） * // 找到一个图片：两个人对弈。制作一个图片：其中一个人替换成计算机。 // 奕天网调查！（人机对弈的情况） * // 找到一个图片：两个人对弈。制作一个图片：其中一个人替换成计算机。 // 奕天网调查！（人机对弈的情况） * * Jumianbiaoshi * * * * * * // 找到一个图片：两个人对弈。制作一个图片：其中一个人替换成计算机。 // 奕天网调查！（人机对弈的情况） * 连通度的计算 知识表示 威胁数的计算 知识表示 空交叉点的分类知识 知识表示 判断上述棋型中各个交叉点的价值 下列4个棋型，用交叉点的状态序列描述，交叉点上有黑子用‘X’表示，交叉点空白用‘- ’表示。请指出：下列棋型的类型；如果黑方足够理性，哪个棋型是不可能出现的，为什么？ XX- - XXXX- XX- XXXX- XX X- - XX- XXX- - XXX- - XX- 思考题 知识表示 简评：很有价值的计算机博弈网站，里面有系统的入门资料。 六子棋 的对弈网站：/Connect6.aspx 黄晨的象棋百科全书网站： /computer.htm 简评：大陆和台湾的六子棋高手聚集地。 状态转换 二 着法生成的策略： 逐步生成。 基于预置表生成。 着法排序的策略： 先将着法分类。 再根据各个子类进行排序。 状态转换 三 * 估值函数设计的传统方法 估值函数设计的一般方法 参数调整需高水平棋手的参与，且耗时甚巨； 容易出错且严重依赖设计者的棋类领域知识； 一种棋类的经验难以推广到其它棋类。 例：国际跳棋的世界冠军程序Chinook的参数调整历时5年。 * TD学习 TD学习 自动调整参数，无需人工干预 对领域知识要求甚少，可通过自学习提高水平 例：自学习训练150万盘的西洋双陆棋TD-Gammon其水平已经全面超越人类顶尖高手。 * TDLConn6的体系结构图 图 TDLConn6的体系结构图 * TD学习算法的执行过程 图5.2 TD学习算法的执行过程 * 权值调整自动化——BP神经元网络 输入层设计 隐藏层设计 输出层设计 Sigmoid函数的选择 g(x)=1/(1+exp(-x)) 用1.0表示取胜，0.5表示和棋，0.0表示输棋 * 整合先验知识与神经元网络的估值函数 估值函数 V(p) = ?S(p)+ NN(p)(SMax(?)?SMin(?))/(NNMax(?)? NNMin(?)); 其中， 优点： 第一，兼顾了引入先验知识和自动调整权值的需求； 第二，通过先验知识粗略勾勒出估值函数，通过神经元网络精调估值函数的权值，先验知识有助于加速训练的收敛； 第三，通过参数?来表达对先验知识的信心。 * 自学习训练样本的选择 图5.4 可应用TD学习的状态序列 状态转换 四 TSS TSS是二值搜索，若求解成功，搜索算法会返回true或false。 二值搜索需要预设一个二元问题，搜索的目标就是肯定该问题为真，或否定该问题： 例如：“黑方能赢么？” 对于TSS搜索，就是“MAX方（进攻方）能通过连续的威胁着法获胜么？” TSS原理 黑DTSS胜的一个变化（轮黑走） STSS举例 由左图可知： 在上图中黑可STSS胜 黑可TSS胜的一个局面 （轮黑走） TSS的形式化描述 表2 TSS搜索的相关记号、函数及其涵义 TSS的形式化描述 表3 TSS搜索的结果及其涵义 TSS的形式化描述 1. DTSS(pi, A, A) = true ? 2. MAi ? ? ? 3. (?ma ? MAi) ( 4. pi+1 ?= Succ(pi, A, ma) ? 5. 2 ? Th(A, pi+1) ? 6. Th(D, pi+1) = 0 ? 7. DTSS(pi+1, A, D) = true 8. ); 9. DTSS(pi, A, D) = true ? 10. MDi ? ? ? 11. (?md ? MDi) ( 12. pi+1 ?= Succ(pi, D, md) ? 13.