约翰霍普金斯大学团队提出的GenEx是一种 AI 模型，仅通过一张图片即可创建完全可探索的 360° 3D 世界！
用户可以以交互方式探索生成的世界。借助这个想象的世界，GenEx 在想象空间中推进了具象 AI，并带来了将这些功能扩展到现实世界探索的潜力。代码即将开放，小伙伴们可以期待一下！
GenEx有以下特点：
交互式探索 (Interactive Exploration)：玩家用控制器，实现虚拟环境中的移动指令，实时控制视角和前进路径。
GPT辅助自由探索 (GPT-Assisted Free Exploration)：根据指令“自由探索周围环境”，AI就会自主决定探索的路径并行动，无需人类控制。
目标驱动导航 (Goal-Driven Navigation)：按照指令“自行移动到蓝色汽车的位置，然后返回”，AI就会自动规划到达目标的路径，完成后返回起点。
论文介绍
GenEx：创造一个可探索的世界
论文引入了 GenEx，这是一个旨在通过生成可探索的世界并促进对这个生成世界的探索来突破这一界限的平台。GenEx 结合了两个相互关联的组件：一个富有想象力的世界，它动态地生成 3D 环境以供探索，以及一个具身代理，它与这个环境交互以完善其理解和决策。这些组件共同形成了一个共生系统，使人工智能能够以类似于人类认知过程的方式进行模拟、探索和学习。
方法
单智能体通过想象进行推理，多智能体通过想象进行推理和规划。（a）单智能体可以想象以前未观察到的视图，以更好地理解环境。（b）在多智能体场景中，智能体推断其他人的观点，以基于对情况的更全面理解做出决策。输入和生成的图像是全景的；提取立方体进行可视化。
GenEx 驱动的富有想象力的探索 可以收集到与通过物理探索获得的观察结果一样有见地的观察结果。
三种探索模式——交互式、GPT 辅助和目标驱动——每种模式都由不同的探索指令定义。
将世界转换建模为全景视频生成过程。给定最后探索的 360° 全景图和旋转观看范围的动作，该模型会生成一系列新生成的全景视图。
三种可以相互转换的全景图。
从单一视图到 360◦ 全景图。
结论
GenEx是一个生成可探索世界的平台，它使代理（无论是由人类用户还是 GPT 指示）都可以在这个富有想象力的全景世界中自由探索。通过从单个图像生成 3D 一致的环境，该方法可以创建沉浸式和交互式的世界，提供无边无际的景观，以物理世界为基础，并由代理进行探索。论文展示了 GenEx 的多种应用，表明这种生成式可探索世界技术可以创建多样化和一致的 3D 环境，构建主动 3D 映射，并通过允许代理创建更明智和有效的计划来推进具身决策。此外，GenEx 的框架支持多代理交互，为更先进和合作的 AI 系统铺平了道路。这项工作标志着现实世界导航、交互式游戏和在具身 AI 中实现类人智能的进步。
感谢你看到这里，也欢迎点击关注下方公众号并添加公众号小助手加入官方读者交流群，一个有趣有AI的AIGC公众号:关注AI、深度学习、计算机视觉、AIGC、Stable Diffusion、Sora等相关技术，欢迎一起交流学习💗～
