通过像素输入使用神经进化学习《黑暗之魂》 战斗-计算机科学-计算智能-进化算法.pdfVIP

通过像素输入使用神经进化学习《黑暗之魂》

战斗

JimO’ConnorGaryB.ParkerMustafaBugti

ComputerScienceDepartmentComputerScienceDepartmentComputerScienceDepartment

ConnecticutCollegeConnecticutCollegeConnecticutCollege

NewLondon,ConnecticutNewLondon,ConnecticutNewLondon,Connecticut

joconno2@parker@mbugti@

摘要—本文探讨了将增强拓扑神经演化（NEAT）应用于的游戏，对AI驱动的游戏玩法[8]构成了重大挑战。这

本自动进行暗魂游戏的游戏玩法。暗魂是一款以其复杂的战斗机些游戏要求代理解释高维的视觉信息，导航复杂和非线

译制、动态环境和高维视觉输入著称的极具挑战性的动作角色扮性的世界结构，并动态响应不可预测的敌人行为。传统

演游戏。与传统的强化学习或游戏播放方法不同，我们的方法

中的强化学习方法如深度Q学习（DQN）[9]在奖励稀疏

直接从原始像素数据进化出神经网络，避免了对显式游戏状态

1信息的需求。为了促进这种方法的应用，我们引入了暗魂API或延迟的情况下往往难以应对，这在像DarkSouls这样

v

3（DSAPI），这是一个利用实时计算机视觉技术提取关键游戏的具有挑战性的3D游戏中很常见，由于通过大型卷积

9指标的新颖Python框架，包括玩家和敌人的生命状态。使用神经网络传播有意义的误差信号存在困难。相比之下，

7

3NEAT，代理能够进化出有效的战斗策略以击败游戏中的初始NEAT通过直接优化网络结构和权重来解决这些限制，

0.Boss——疯人院恶魔，而无需预定义的行为或领域特定的启发从而绕过强化学习中固有的信用分配问题，并有可能

7式算法。实验结果表明，进化的代理实现了高达35%的成功率，

0这表明神经演化在处理复杂且视觉细节丰富的游戏玩法场景中更快地适应复杂的视觉输入。这种能力使得NEAT对

5于那些直接奖励信号有限或不存在的游戏特别有前景。

2是可行的。这项工作代表了基于视觉的神经演化的有趣应用，突

:显了其潜在用途广泛应用于缺乏直接API支持或具有良好定义[10],[11]。

v

i状态表示的各种具有挑战性的游戏环境。本文研究了增强拓扑神经进化（NEAT）[12]在一

x

rIndexTerms—NEAT,黑魂,计算智能,进化算法

a款著名难玩的电子游戏《黑暗之魂》[13]中的应用。与

其他用于人工智能研究的游戏不同，《黑暗之魂》没有

I.介绍

提供易于访问的状态表示，需要代理直接从原始像素数

人工智能（AI）能够以人类或超人类水平玩视频游据中学习。此外，《黑暗之魂》的难度是其设计理念[14]

戏的发展一直是AI研究中的一个重要基准[1],[2]。从的基本组成部分，建立在经典动作角色扮演游戏的传统

早期基于规则的系统到现代深度学习方法，各种技术被之上，并受到强调刻意战斗和精心关卡设计游戏机制的

用来训练能够解决复杂游戏环境的自主代理。其中，神影响。通过创建人工智能代理来克服这些机制为评估神

经进化[3]是一种使用进化算法来演化人工神经网络的经进化方法在高维度、视觉复杂环境中的能力提供了一

方法，使其成为一种有前景的方法，特别是在奖励结构个独特的挑战。

稀疏或环境动态难以建模的情况下[4]。