游戏生成与视频扩散模型：生成式游戏引擎，场景泛化，动作可控性，Minecraft数据集
GameFactory: Creating New Games with Generative Interactive Videos
2025-01-14｜HKU, Kuaishou|🔺47
http://arxiv.org/abs/2501.08325v1
https://huggingface.co/papers/2501.08325
https://vvictoryuki.github.io/gamefactory/
研究背景与意义
在游戏开发领域，生成式游戏引擎有潜力通过自动创建新内容来彻底改变游戏开发的方式，显著减少人工工作量。然而，现有基于视频的游戏生成方法未能有效解决场景泛化的关键挑战，限制了其在固定风格和场景的现有游戏中的适用性。本文提出的GameFactory框架旨在探索游戏视频生成中的场景泛化问题，特别关注如何利用预训练的视频扩散模型来创建新游戏。
1. 研究背景
生成式游戏引擎的崛起为游戏开发带来了新的机遇。 现有方法的局限性导致生成内容的多样性不足。
2. 研究意义
提高游戏开发的灵活性和创造力。 解决场景泛化问题，为游戏开发提供更广泛的应用。
研究方法与创新
本文提出的GameFactory框架通过多阶段训练策略，解耦游戏风格学习与动作控制，从而实现开放领域的场景泛化。具体而言，该方法利用了从小规模第一人称Minecraft数据集中学习的动作控制能力，将这些能力迁移至开放领域的视频上，最终实现了在开放场景中创建新游戏的可能性。
1. 方法创新
多阶段训练策略：将游戏风格学习与动作控制分开，使模型在保持开放领域泛化能力的同时，仍能实现有效的动作控制。 GF-Minecraft数据集：为研究提供了高质量和多样化的动作标注视频数据，解决了人类偏见问题。
2. 理论基础
采用预训练的视频扩散模型作为基础，结合小规模的动作标注数据，实现了对新场景的有效生成。
实验设计与结果分析
在实验中，GameFactory展现了其在开放领域、动作可控的游戏视频生成中的有效性。通过对比基准数据，统计显著性分析表明，该方法在生成多样化和可控性方面超越了现有技术。
1. 实验设计
采用GF-Minecraft数据集进行训练，验证模型的泛化能力。 通过不同场景和动作组合的实验，评估模型的性能。
2. 结果分析
实验结果表明，GameFactory能够生成开放领域的多样化和可控的游戏视频，标志着在AI驱动的游戏生成方面取得了重要进展。
结论与展望
GameFactory的提出不仅为生成新游戏提供了一种新的方法，还为未来的游戏开发奠定了基础。该框架的成功应用展示了生成式游戏引擎在场景泛化和动作控制方面的潜力，预示着游戏开发的未来可能会更加智能化和自动化。
1. 贡献总结
提出了有效的场景泛化解决方案。 创建了GF-Minecraft数据集，推动了研究的深入。
2. 方法展望
未来的工作将集中在扩展生成内容的多样性和复杂性，探索更多游戏类型的适应性。
通过GameFactory的研究，开发者和研究者可以更好地理解生成式游戏引擎的潜力，并推动这一领域的进一步发展。
