Google研究推出了一款完全由神经模型驱动的游戏生成引擎GameNGen，能在长轨迹上高质量地与复杂环境进行实时交互。可以在单个TPU上以每秒 20帧以上的速度交互模拟经典游戏 DOOM。下一帧预测实现了29.4的PSNR，与有损JPEG压缩相当。
下图为人类玩家在GameNGen上以20 FPS的速度玩《毁灭战士》
相关链接
项目主页：https://gamengen.github.io
论文地址：https://arxiv.org/abs/2408.14837
论文阅读
扩散模型是实时游戏引擎
摘要
我们推出了GameNGen ，这是第一款完全由神经模型驱动的游戏引擎，它能够在长轨迹上高质量地与复杂环境进行实时交互。GameNGen 可以在单个 TPU 上以每秒 20 帧以上的速度交互模拟经典游戏 DOOM。下一帧预测实现了 29.4 的 PSNR，与有损 JPEG 压缩相当。人类评分者在区分游戏短片和模拟片段方面仅比随机机会略胜一筹。GameNGen 分两个阶段进行训练：
RL 代理学习玩游戏并记录训练课程; 根据过去的帧和动作序列训练扩散模型来生成下一帧。条件增强能够在长轨迹上实现稳定的自回归生成。
方法
通过代理游戏收集数据：由于我们无法大规模收集人类的游戏玩法，因此在第一阶段，我们训练一个自动 RL 代理来玩游戏，并持久保存其动作和观察的训练情节，这些情节成为我们生成模型的训练数据。
训练生成扩散模型：我们重新利用了一个小型扩散模型，稳定扩散v1.4，并根据一系列先前的操作和观察（帧）对其进行调节。为了减轻推理过程中的自回归漂移，我们在训练期间向编码帧添加高斯噪声来破坏上下文帧。这允许网络纠正在先前帧中采样的信息，我们发现这对于在长时间内保持视觉稳定性至关重要。
潜在解码器微调：Stable Diffusion v1.4的预训练自动编码器将 8x8 像素块压缩为 4 个潜在通道，在预测游戏帧时会产生明显的伪影，影响小细节，尤其是底部栏 HUD。为了在提高图像质量的同时利用预训练知识，我们仅使用针对目标帧像素计算的 MSE 损失来训练潜在自动编码器的解码器。
GameNGen与之前最先进的《毁灭战士》模拟的对比。
自回归漂移。顶部：我们展示一条简单轨迹的每 10 帧，其中 50 帧玩家没有移动。20-30 步后质量迅速下降。底部：噪声增强后的相同轨迹不会出现质量下降。
实验
模型预测vs.事实。只有过去观测的最后4帧
显示上下文。
自回归评估。PSNR和LPIPS指标超过64个自回归步骤。
历史帧数。我们减少了用作上下文的历史框架的数量使用来自5个级别的8912个测试集示例。更多的帧通常可以提高PSNR和LPIPS指标。
噪声增强的影响。图表显示每个自回归步骤的平均 LPIPS（越低越好）和 PSNR（越高越好）值。不使用噪声增强时，质量在 10-20 帧后会迅速下降。噪声增强可以防止这种情况发生。
模拟模型的自回归评价:上排:背景信息帧。中排:地面真相框架。最下面一行:模型预测。
结论
总结。文章介绍了 GameNGen，并证明了在神经模型上可以实现每秒 20 帧的高质量实时游戏。我们还提供了将交互式软件（例如计算机游戏）转换为神经模型的方法。
限制。 GameNGen 的内存有限。该模型只能访问 3 秒多一点的历史记录，因此值得注意的是，大部分游戏逻辑都保留了更长的时间范围。虽然部分游戏状态通过屏幕像素保留（例如弹药和生命值计数、可用武器等），但该模型可能会学习强大的启发式方法，从而实现有意义的概括。例如，从渲染的视图中，模型学会推断玩家的位置，从弹药和生命值计数中，模型可能会推断玩家是否已经穿过某个区域并击败了那里的敌人。话虽如此，很容易出现这种上下文长度不够的情况。继续使用我们现有的架构增加上下文大小只会带来边际效益，并且模型的上下文长度较短仍然是一个重要限制。第二个重要限制是代理的行为与人类玩家的行为之间仍然存在差异。例如，即使在训练结束时，我们的代理仍然没有探索游戏的所有位置和交互，从而导致这些情况下出现错误的行为。
感谢你看到这里，也欢迎点击关注下方公众号并添加公众号小助手加入官方读者交流群，一个有趣有AI的AIGC公众号:关注AI、深度学习、计算机视觉、AIGC、Stable Diffusion、Sora等相关技术，欢迎一起交流学习💗～
