不完美信息博弈中对手模型的研究-IndexCopernicusJournalsMaster.PDF

第４０卷 第 １期 河 南 科 技 大 学 学 报 （自然 科 学 版 ） Ｖｏｌ．４０ Ｎｏ．１ ２０１９年　 ２月 ＪｏｕｒｎａｌｏｆＨｅｎａｎＵｎｉｖｅｒｓｉｔｙｏｆＳｃｉｅｎｃｅａｎｄＴｅｃｈｎｏｌｏｇｙ（ＮａｔｕｒａｌＳｃｉｅｎｃｅ） Ｆｅｂ． ２０１９ 文章编号：１６７２－６８７１（２０１９）０１－００５４－０６　 ＤＯＩ：１０．１５９２６／ｊ．ｃｎｋｉ．ｉｓｓｎ１６７２－６８７１．２０１９．０１．０１０ 不完美信息博弈中对手模型的研究 吴天栋，石　英 （武汉理工大学 自动化学院，湖北 武汉 ４３００７０） 摘要：针对传统的显式建模方法依赖大量数据样本的问题，提出了策略自扩展算法，通过样本数据的自扩展来 提高建模效率。同时，为了提高对手模型的准确度，结合隐式建模和隐式子策略建模的方法，提出了子策略发 现算法。以勒杜克（Ｌｅｄｕｃ）扑克博弈为实验对象，对比研究了２种传统方法和本文提出的２种算法。实验结 果表明：策略自扩展算法提高了显式建模的效率和模型准确性。在利用对手弱点获取收益方面，策略自扩展 算法比显式建模方法提升了８４．４％，子策略发现算法比隐式建模方法提升了１２８．６％。 关键词：不完美信息博弈；对手模型；策略自扩展；隐式建模 中图分类号：ＴＰ１８ 文献标志码：Ａ ０　引言 在对完美信息博弈的研究取得成功之后，不完美信息博弈近年来成为人工智能领域研究的热点。 对于不完美信息机器博弈领域的研究可以归为两大类：一类是纳什均衡策略智能体（Ａｇｅｎｔ）的研究，其 目标是在不完美信息博弈中不断地寻找纳什均衡策略，反复迭代得到最优策略；另一类是对手模型的研 究，其目标是通过在博弈过程中进行对手建模，并尽最大可能地利用对手策略中的弱点。近年来，许多 研究者关注于求解机器博弈中纳什均衡策略的问题，并提出了最具代表性的虚拟遗憾最小化算法［１－２］ 及其相关改进算法［３－５］，这些算法成功地解决了在２人非完备信息博弈中寻求纳什均衡策略的问题。 但在博弈过程中，当对手所使用的策略与纳什均衡策略有很大的偏差时，纳什均衡策略Ａｇｅｎｔ不能保证 对该对手的策略最佳。在这种情况下，使用对手建模方法并利用对手策略的弱点往往能得到更大的收 益。对于对手模型的研究，目前绝大部分工作采用的是显式建模方法［６－８］，该方法基于大量的历史数据 ［９］ ［１０］ 计算出对手每种决策行为的概率。为了提高策略的鲁棒性 并降低对手模型误差 ，文献［１１］将组 合响应方法引入到显式建模的过程中，并开发出了扑克类机器博弈的Ａｇｅｎｔ。然而，所建模型和对手的 实际策略仍有偏差，建模的方法也难以根据对手实时策略做出动态调整。因此，对建模方法的优化成为 目前研究阶段十分重要的工作。 为了达到优化对手模型的目的，本文提出了２种改进方法：第一种，研究贝叶斯统计方法，并引入策 略自扩展技术改进显式建模；第二种，基于对手博弈行为在不同信息集中的关联性［１２］，提出了子策略发 现算法，用来提高模型准确度。 为了验证提出的２种新算法，本文选取勒杜克（Ｌｅｄｕｃ）扑克博弈为实验对象。首先，在 Ｌｅｄｕｃ扑克 中生成３种固定类型的对手；然后，将显式建模和隐式建模的方法与新提出的２种方法进行了一系列对 比实验；最后，给出了各个方法对３类不同对手的比较结果。 １　经典建模方法的分析 基于文献［１３］提出的扑克类机器博弈领域内的具体规则和难点，本节主要分析了传统的建模方 法。 基金项目：国家自然科学基金项目；江苏省科技研究与发展计划基金项目（ＢＥ２０１６１５５） 作者简介：吴天栋（１９９１－），男，湖北武汉人，硕士生；石英（１９７５－），女，湖北武汉人，教授，博士，硕士生导师，主要研究方向为图像 处理、模式识别及车联网． 收稿日期：２０１７－１２－２６ 第 １期 吴天栋，等：不完美信息博弈中对手模型的研究 ·５５· １．１　显式建模 在博弈过程中对对手进行显式建模，是一种构建剥削策略