《Arc Raiders》中基于机器学习的敌人 AI 设计：从机器人学到游戏物理系统的融合
Arc Raiders 是近年来最大的爆款游戏之一，今天发布的新 Flashpoint 更新承诺会让它变得更好。而且，与市场上最大的大片相比，它的制作预算比你最初想象的要小得多。
即使是一瞥，也不需要训练有素的眼睛就能看出，Arc Raiders 中的敌人感觉与传统游戏 AI 有根本性的不同。它们不遵循僵化的模式或脚本化的行为，而是动态地对环境做出反应，从干扰中恢复，有时甚至会出现在连开发者都没想到的地方。这种不可预测感不仅仅是设计选择，而是多年来对机器人学、物理模拟和机器学习研究的结果。
在 Embark Studios，团队从系统优先的角度处理敌人设计，将敌人视为物理实体而非动画角色，这些实体必须在动态世界中导航和生存。这一决定直接引导他们进入机器人学研究和强化学习，借鉴控制真实世界机器的技术并将其适应游戏环境。
Arc Raiders 并非纯粹依赖传统 AI 系统，而是将学习到的运动与行为树相结合，创建了一种分层方法，使运动本身成为智能的一部分。
我们采访了 Embark Studios 的机器学习研究主管 Martin Singh-Blom，了解这些系统如何工作，将它们投入生产的挑战，以及为什么物理驱动的 AI 从根本上改变了玩家与敌人的互动方式。以下是那次面对面访谈的轻度编辑记录。
你能介绍一下自己并总结你在 GDC 演讲的重点吗？
Martin Singh-Blom： 我叫 Martin Singh-Blom。我在 2019 年 1 月或 2 月左右加入，就在工作室成立几个月后。
演讲的大意是，物理是 Arc Raiders 非常重要的一部分。当你射击无人机或敌人时，它们会正确反应，很多游戏玩法来自涌现式交互。例如，你可能将敌人射到墙上，它会因撞墙而受到额外伤害并爆炸，而不是因为你的霰弹枪。
我们很早就知道我们想要那样的涌现式游戏玩法，因为它能带来高可重玩性。我们也知道我们想要有腿的敌人，即大型机器人，它们行走并与世界进行物理互动。
如果你想要那样，你会遇到与机器人学相同的问题。即使你的机器人是模拟的，它仍然是一个需要移动和平衡的物理机器人。因此，我们必须查阅机器人学文献，采用他们控制实际机器人的方法，将其放入我们的游戏中，并使其为我们工作。
演讲的很大一部分是关于我们遇到的问题，哪些与机器人学相同，哪些不同。例如，机器人可以使用摄像头，但我们不能这样做，因为这需要在服务器上进行渲染，成本太高。同时，我们可以作弊——真正的机器人不能有魔法力在它们开始坠落时将它们抬起，但我们可以。
然后，很大一部分是强化学习，这是一种人们用于机器人学的深度学习方法。所以演讲的一部分是介绍这个，另一部分是关于在游戏中应用它的挑战。
是什么让 Arc Raiders 的敌人感觉与传统 AI 如此不同？
Martin Singh-Blom： 我认为并非所有这些都直接来自机器人学工作，但几乎都源于将所有东西物理化的决定。
在传统动画系统中，你总是知道敌人在哪里。没有灵活性。如果你撞到它，它不会反应，因为它只是在播放动画。但既然我们决定采用物理，我们不一定知道敌人会在哪里。如果你向它扔东西，它可能会被撞出路径，最终出现在其他地方。
这迫使我们设计所有系统更加灵活。你在其他游戏中可能有的严格寻路系统不再适用。
因此，玩家感知到的智能部分是因为敌人在一个真实世界中行动，具有与真实物体相同的自由度，部分是因为它们从一开始就被设计为在该环境中自我纠正和调整。
然后，其余的部分说实话没有看起来那么神奇。我们有一个非常强大的 AI 团队，使用像 utility AI 这样的东西，他们花了很多时间调整行为，使其感觉一致且有惩罚性。
我们不围绕模式设计敌人。相反，我们思考是什么原则指导敌人以及为什么。这使它们感觉有意图。它将游戏从记忆模式转向理解行为。
为什么游戏不依赖传统的敌人模式或脚本化遭遇？
Martin Singh-Blom： 由于物理原因，我们真的不能那样做。
我们尝试过构建更传统的行为系统，但一旦发生意外情况，比如敌人被推，就会破坏那些模式。
一切都回到物理。物理增加了一层不可预测性，渗透到设计的基础中。因此，我们必须完全放弃那种方法。
机器学习如何融入整体 AI 系统？
Martin Singh-Blom： 机器学习部分实际上比人们想象的要有限。它严格用于运动，比如机器人如何放置脚和移动。这是一个非常困难的问题，传统方法对有腿机器人效果不佳，因此我们必须进入研究前沿并使用强化学习。
对于无人机，我们不需要那样，因为我们可以使用传统控制系统，就像你在真实世界无人机中看到的那样。但对于有腿机器人，我们还没有找到任何其他有效的方法。
一旦进入更高级的决策，比如去哪里或做什么，那由更传统的系统如行为树处理。
两者之间有边界。例如，如果机器人前面有一个箱子，行为树可能决定它想向前移动，但运动系统决定如何到达那里，是越过箱子还是绕过它。
随着模型改进，我们可以将更多决策推入机器学习侧。这变得有趣，因为机器人可以开始做出自己的决定，比如决定挤过一个空间或跳过某物，这为玩家创造了更多令人惊讶的情况。
你能谈谈一些涌现式行为和意外结果的例子吗？
Martin Singh-Blom： 我们见过敌人最终出现在我们完全没想到的地方的情况。
内部有一个视频，有人展示了一个跳跃者在一个圆顶内，我们甚至不知道它能进去。我们不知道它是怎么进去的。也许是爆炸把它推了进去，也许是它挤了进去；很难说。
但当你有数百万玩家时，百万分之一的事情会经常发生。那些时刻对我们来说真的很有趣，因为它们表明系统产生了我们没有明确设计的行为。
网上有很多关于敌人有多聪明和复杂的讨论，许多玩家猜测它们通过适应玩家习惯随时间学习和进化。这是真的吗？
Martin Singh-Blom： 它们感觉越来越聪明并发展出新战术，这绝对是真的，但机制不是人们想的那样。
我们没有进行在线学习或类似的事情。实际上发生的是，我们看到一些有趣的东西，也许在 YouTube 视频中，然后我们决定想要更多那种行为。
因此，我们创建鼓励它的受控训练场景。我们随机化物体放置等事情，而不是在单一固定设置上训练，使行为更加鲁棒。
如果我们只在真实游戏玩法数据上训练，如果关卡中发生变化，行为可能会崩溃。通过控制训练环境，我们使其更稳定和更可泛化。
为何这种方法之前未在游戏中广泛应用？
Martin Singh-Blom：因为它极其困难。
你正处在机器人学的研究前沿，这需要数年时间。我们多次差点砍掉这个系统，因为它未能达到我们的质量标准。关于是否保留它，我们进行了大量讨论。在某些时刻，动画效果不够理想，这确实是个风险。
让它存活下来的是涌现式玩法（emergent gameplay）的价值。游戏设计师们对此深信不疑。最终，我们实施了一种称为对抗性运动先验（adversarial motion priors）的方法，这大大提升了质量。那时我们才有信心保留它。
但即便如此，仍需要一个由五到十人组成的团队花费数年时间才达到现在的水平。
你最期待进一步探索哪些领域？
Martin Singh-Blom：一个有趣的领域是感知（perception）。
早些时候，我们的视觉系统无法处理室内环境。它基本上是一个位于机器人上方的网格，用于测量地面高度，这在室外有效，但在室内就失效了。
当我们改进这一点后，敌人突然能够导航室内空间，这改变了它们的行为方式并开启了新的可能性。在扩展现有敌人能力方面也有很大潜力。像跳跃者（leapers）这样更小、更快的敌人尤其有趣，因为它们的移动是其行为的重要组成部分。
还有一个长期想法是将此与破坏系统（destruction systems）结合。我们已经实验过，它有效，但这需要对游戏进行重大改动，所以目前不在路线图上。
Martin Singh-Blom，Embark Studios 的机器学习研究负责人
采访由 David Jagneaux 进行
别忘了 订阅我们的新闻通讯，加入我们的 80 Level 人才平台，在 Twitter、 LinkedIn、 Telegram 和 Instagram 上关注我们，我们会在那里分享技术解析、最新新闻、精彩艺术作品等。
你喜欢我们在 80 Level 所做的工作吗？那么请务必 在 Google 上将我们设为优先来源 ，以便在你的信息流中看到更多我们的内容。
相关链接
原文链接：https://80.lv/articles/inside-the-magic-of-machine-learning-that-powers-enemy-ai-in-arc-raiders
喜欢这篇内容吗？