MachineLearningTechniquesforFPSinQ3报告人陈杰jaychen008.pptVIP

Machine Learning Techniques for FPS in Q3 报告人：陈杰 jaychen008@163.com 内容提要 第一人称射击游戏(FPS) FPS游戏中的人工智能现状 机器学习在FPS游戏中的应用 进一步的工作 第一人称射击游戏简介 第一人称射击游戏 First Person Shooter (FPS) FPS游戏的特点 以玩家的第一视角进行游戏 游戏对现实世界的真实模拟 对游戏的速度要求较高 FPS游戏中的人工智能现状 非智能方法 单纯提高射击精度来增加难度 智能方法 规则系统(Rule Based Systems) 有限状态机(Finite State Machines) 特点 易于实现，但是对复杂环境处理能力不足 机器学习在FPS游戏中的应用 目的 获得类似于人类的行为和策略 方法概述 1. 记录人类玩家的操作作为训练样例 2. 以样例作为出入，使用有导师学习 方法训练机器学习系统 3. 得到NPC (Non Player Character ) 所需的人工智能系统 FPS游戏中的人工智能系统 人工智能系统的通用结构 动画控制 (Animation control)智能系统 运动控制 (Movement control)智能系统 对战控制 (Combat control) 智能系统 行为控制 (Behavior control)智能系统 动画控制系统 功能 NPC在特定场景下的动画序列 是否应用学习系统 不需要 运动控制系统 功能 NPC在地图中的导航 是否应用学习系统 动态的或未知的环境中，可通过学习系统 获得关于地图的知识，来为NPC导航 静态的或已知的环境中，可利用环境感知 系统 (Area of Awareness System )为NPC 导航 对战控制系统 功能 NPC在对战状态下的行为控制 是否应用学习系统 需要 行为控制系统 功能 控制NPC的总体行为 是否应用学习系统 需要 神经网络 原因 良好的泛化能力 对于训练好的网络，求解问题速度快 缺点 训练阶段需要较高的计算要求 具体方法 多层前向神经网络 (feed forward multilayer NN) 多层感知器 (Multilayer Perception) 神经网络的训练算法 训练方法----------遗传算法 训练目的----------优化神经网络连接权值 遗传算法的参数选择 交叉策略 单点交叉 交叉比例 0.6-0.8之间的实数，一般取0.7 种群数量 30个染色体 新一代种群的产生 轮盘赌选择 训练样例的产生 特定游戏情景下人类玩家的行为 特点：连续的，复杂的 行为的分类 对战时的运动 非战斗时的路径选择 选择武器，瞄准，射击 对战时的运动 动作分类 前/后/左/右移动 射击 蹲下/跳起 样例记录内容 Fight Movement NN 为NPC导航 要学习的行为 所有非战斗状态下的动作 解决办法 检查点系统 (checkpoint) Routing NN 选择武器，瞄准，射击 系统结构 训练样例记录 训练系统 NPC的智能系统 Bot AI in Quake 3 Arena Server Neural Network DLL Architecture NPC智能系统的组成 NPC智能系统的组成 系统评估 评估方法 单个神经网络的评估 寻路网络 (Routing NN) 对战中运动 (Fight Movement NN) 瞄准和射击 (Aim Shoot NN) 系统的整体评估 寻路网络 (Routing NN) 训练样例数量 300个/15分钟 训练结果 结果分析 训练观点 精度较高，83%-87% 游戏观点 不同网络学习到不同策略 对战中运动 (Fight Movement NN) 训练样例数量 5000 个/15分钟 训练结果 结果分析 训练观点 通过很少代进化，能达到 很高精度 游戏观点 可学习到某些特定行为 如：左右移动 但对其他行为学习能力差 原因是缺少相关环境信息 瞄准和射击 (Aim Shoot NN) 训练样例数量 9000个/15分钟 训练结果 结果分析 训练观点 精度高，90%以上 游戏观点 问题：没有学习到瞄准，射 击动作 原因：一次精确射击产生的 局部最大问题 改进：训练样例的记录方式 结果：学习到瞄准射击动作 系统的整体评估 训练样例记录系统 消除不必要数据，提高训练效率 NPC训练系统 经过90代左右的进化，达到很高的精度 NPC智能系统 实现了对人