机器自学习博弈策略的研析和实现.docVIP

广西师范大学硕士研究生学位论文  目  录  摘要 第一章　 绪 论 … … … … … … … … … … … … … … … … … … … … … … … . . 1 第二章　 问 题 表 示 … … … … … … … … … … … … … … … … … … … … … . . 4 第三章　 博 弈 树 搜 索 技 术 … … … … … … … … … … … … … … … … … … . . 7 3.1 3.2 极小极大树搜索算法 … … … … … … … … … … … … … … … . … … 7 α－β剪枝过程 … … … … … … … … … … … … … … … . … … … … 1 ０ 3.3 α－β剪枝存在的问题及优化 … … … … … … … … … … … … … １３ 3.4 NegeScout 搜索 … … … … … … … … … … … … … … … … … … … . . 14 第四章　 静 态 估 值 函 数 … … … … … … … … … … … … … … … … … … … . 1 7 4.1 4.2 4.3 棋盘局势特征 … … … … … … … … … … … … … … … … … … … … . 17 估值 … … … … … … … … … … … … … … … … … … … … … … … … . 19 初版的实践结果及不足 … … … … … … … … … … … … … … … … . 20 第五章　 T D 强 化 学 习 法 … … … … … … … … … … … … … … … … … … … . 2 1 5.1 5.2 5.3 TD 预 测 … … … … … … … … … … … … … … … … … … … … … … … 2 1 BP 神经网络 … … … … … … … … … … … … … … … … … … … … … 2 2 TD 与 神 经 网 络 结 合 … … … … … … … … … … … … … … … … … … 3 0 第六章　 编 程 与 实 践 结 果 … … … … … … … … … … … … … … … … … … . . 3 3 6.1 6.2 6.3 编程 … … … … … … … … … … … … … … … … … … … … … … … … . 3 3 实践结果及神经网络学习参数选择 … … … … … … … … … … … . 3 4 讨论 … … … . . … … … … … … … … … … … … … … … … … … … … . . 36 参考文献 致谢 2 广西师范大学硕士研究生学位论文  摘  要  人工智能是近年来很活跃的研究领域之一。机器学习和博弈是人工智能研究的重要 分支。国内外对博弈的研究已经较为广泛，特别是 IBM 的国际象棋程序“深蓝”，已 经达到了人类的世界冠军水平。但是这些程序或者需要经过大量训练，或者采用死记硬 背的学习方法，或者是采用大规模搜索算法实现，难以避免“组合爆炸”的危机，因此， 一个真正“智能”的，有学习能力的高效率的博弈策略还有待进一步研究。本文将 TD(Temporal Difference)预测与 BP 神经网络相结合，得到一种用于博弈的强化学习法， 以博弈中常用的极小极大搜索法和 NegeScout 搜索法为基础，并应用它实现了一个能自 学习的五子棋博弈程序。该方法克服了使用静态估值函数的不足，实践证明，该方法是 成功的，使用该方法的程序经过较短时间的训练后达到了较好的下棋水平。 本文首先研究了五子棋在计算机中的表示问题，讨论了计算机中存贮棋局和识别下 棋次序，局势状态变化及局势特征的等方法。 其次研究了博弈树的极小极大搜索技术及在此基础上的α－β剪枝过程和剪枝优 化问题。实现将候选的后继节点按位置邻近顺序排序，使剪枝过程得到优化。此外还研 究了α－β剪枝的改进算法 ＮｅｇｅＳｃｏｕｔ 算法，此算法首先采用一小的有限α－β窗口， 以确定实际估计值的范围，再在这个较小的范围中搜索实际的估计值。由于在较小的范 围中搜索，效率能得以提高。　 再次，根据五子棋的特点，提取棋局局势的若干特征，对这些特征赋加权分，并对 整个棋局进行特征统计，采用一个线性函数求得棋局的总估计分值。实践中，采用极小 极大搜索加此静态估值技术的初版程序，达到了比初学者强的水平，一些比较熟练的业 余人员时常也会负于此程序。　 采用固定的估值法，估值的不准确使其“智力”较低，而且固定的赋值方式使其不 能通过学习提高。因此我们继续研究，利用强化学习法(Reiforcement Learn