AI游戏
创业者
Meta正在开发自己的AI搜索引擎；新一代AI游戏助手，多模态AI框架助你畅玩游戏《我的世界》，创业者可以用这个框架做什么呢？
Meta也在开发自己的AI搜索引擎
据The Information报道,Meta正在开发一个AI驱动的搜索引擎,以减少对谷歌和微软的依赖。据称,该搜索引擎将在Meta AI聊天机器人中提供当前事件的AI生成搜索摘要。
目前集成在Instagram和Facebook中的Meta AI机器人使用谷歌和微软必应来回答关于近期新闻和事件的问题。
这种情况可能最终会改变,因为几个月前就有人发现Meta的网络爬虫在网上活动。The Information的消息来源表明,一个团队已经工作了大约8个月,为其聊天机器人建立信息数据库。Meta一直在努力建立可以与谷歌地图竞争的位置数据,上个月,彭博社报道称,苹果在App Store的搜索工具开发工作表明它"已具备所需条件"来开发自己的AI驱动的谷歌搜索替代品。
上周,Meta还宣布与路透社达成了多年合作协议,允许其聊天机器人在回答中使用该通讯社的新闻文章。
AI创业者
创业拓展：更多AI+搜索相关产品风向标、方案等内容
点击查看：关于复刻AI搜索产品（如Perplexity、秘塔）的可参考方案汇总
新一代AI游戏助手来了！ROCKET-1让AI更懂空间交互
最近,一个名为ROCKET-1的全新AI系统引起了科技界的关注。这个系统最大的特点是能够理解并处理复杂的空间交互任务,比如在游戏《我的世界》中完成各种创造性的挑战。
传统的生成式AI系统在处理视觉-语言任务时往往会遇到困难,特别是在需要理解空间关系的场景中。比如"把门放在钻石块上"或者"抓住右边围栏里的羊"这样的任务,对AI来说都是不小的挑战。
ROCKET-1是如何工作的?
ROCKET-1采用了一种创新的"视觉-时序上下文提示"技术。简单来说,它能够:
实时追踪和识别场景中的物体
理解物体之间的空间关系
根据过去和现在的观察结果做出决策
这个系统的独特之处在于它能够:
准确理解空间位置信息
实时跟踪多个物体
将复杂任务分解成可执行的小步骤
最大的难题在于如何将游戏中观察到的具体对象与需要的抽象概念连接起来。常用的方法是采用分层代理，让VLMs充当高级决策者，把复杂任务拆分成更简单的子任务。这些任务一般用语言和想象中的观察来描述，但语言有时无法有效表达空间关系，而准确生成未来的图像也很难。
ROCKET-1会处理交互类型、观察信息和对象分割，使用一种叫做因果变换器的技术来预测动作。它把观察和分割信息结合在一起，再通过视觉模型进行深入处理。在训练时，它会随机丢弃一些交互类型和分割信息。
在Minecraft中，ROCKET-1还使用了一种轨迹重标定的方法，通过识别交互对象来引导决策。在交互发生之前，它会选取图像中心的某个区域进行对象识别，然后再通过SAM-2反向追踪这些对象。
ROCKET-1还和高层决策模型相结合。GPT-4o会根据当前的观察结果来分解复杂的任务，而Molmo模型则识别出可以互动的对象。然后，SAM-2会对这些对象进行分割，ROCKET-1利用这些信息来做出决策。高层模型的运行频率较低，而ROCKET-1和SAM-2的频率与游戏环境同步。
ROCKET-1在Minecraft的测试中表现非常优秀。这个测试包含六种交互类型，共12个任务，特别强调在特定位置与对象的互动。例如，“在右侧围栏捕猎羊”这个任务，如果代理在左侧杀死羊就算失败。此外，一些任务如“把橡木门放在钻石方块上”在训练中从未出现过，这也测试了模型的适应能力。
AI创业者
项目地址：
https://huggingface.co/papers/2410.17856
更多AI+游戏相关的创业内容、工作流、以及方案：
扫码进入社区可搜索【游戏】等关键词~
【驶向互联网下一站】社区内容，AI商业化、XR技术应用、以及一人商业模式的多个方面，为相关领域的创业者、创业者和投资人提供内容、信息和数据支持！社区VIP双11最低价开启，每天限量优惠！10月底涨价100；双11结束后恢复原价~
AI游戏
创业者
