今日开源(2024-09-14):腾讯发布GameGen-O,首个生成开放世界游戏的视频模型

文摘   2024-09-14 16:55   云南  


🏆 基座模型

项目:腾讯 GameGen-O

腾讯发布GameGen-O 是首个专为生成开放世界视频游戏而设计的扩散transformer模型,构建专有数据集OGameData,采用GPT-4o标注数据,整体架构遵循了Latte和OpenSora V1.2框架的原则。该模型通过模拟广泛的游戏引擎功能,如创新角色、动态环境、复杂动作和多样事件,促进高质量的开放域生成。支持交互控制,用户可以通过文本、操作信号和视频提示来控制游戏内容。

☆一键收藏:

https://sota.jiqizhixin.com/project/gamegen-o


🤖 Agent开发

①项目:GenAI_Agents

GenAI_Agents 是一个全面的资源库,提供从基础到高级的生成式AI代理技术的教程和实现。该项目旨在指导用户开发智能、交互式的AI系统,涵盖从简单的对话机器人到复杂的多代理系统。

☆一键收藏:

https://sota.jiqizhixin.com/project/genai-agents


🛠️必备工具

①项目:AI Youtube Shorts Generator

AI Youtube Shorts Generator 是一个使用 Python 开发的工具,利用 GPT-4、FFmpeg 和 OpenCV 自动分析视频,提取最有趣的部分,并将其裁剪为适合短视频观看的格式。该工具目前为 0.1 版本,可能存在一些 bug。

☆一键收藏:

https://sota.jiqizhixin.com/project/ai-youtube-shorts-generator


②项目:AddressCLIP

中科院自动化所和阿里云一起推出了街景定位大模型,只要一张照片就能实现街道级精度的定位。AddressCLIP 是一个用于城市范围内图像地址定位的视觉语言模型。该项目提出了一种端到端框架,通过图像-文本对齐和图像-地理匹配来解决图像地址定位问题。项目构建了三个专门用于图像地址定位的数据集,并在这些数据集上展示了出色的性能。

☆一键收藏:

https://sota.jiqizhixin.com/project/addressclip


③项目:FLUX-Controlnet-Inpainting

FLUX-Controlnet-Inpainting 是由阿里妈妈创意团队发布的一个图像修复项目。提供FLUX.1-dev模型的Inpainting ControlNet检查点,专门用于图像修复和内容生成,支持768x768分辨率下的最优推理性能。项目目前处于 alpha 版本,未来将发布更新版本。

☆一键收藏:

https://sota.jiqizhixin.com/project/flux-controlnet-inpainting


④项目:doc-comments-ai

doc-comments-ai 是一个利用大语言模型(LLM)生成代码文档的工具。用户只需在终端中输入几个简单的命令,就可以使用 OpenAI 或完全本地的 LLM 来生成代码文档。该项目集成了 langchain、treesitter、lama.cpp 和 ollama,支持多种编程语言,并且可以在没有数据泄露的情况下本地运行。

☆一键收藏:

https://sota.jiqizhixin.com/project/doc-comments-ai


👋网页端访问:https://sota.jiqizhixin.com

欢迎扫码加入社群
交流LLM推理与微调、Agent/RAG应用构建开发经验


机器之心SOTA模型
追踪 AI 开源进展,探索先进开发实践。
 最新文章