最新开源:开源软件 Gradio 上新5大功能!字节跳动发布 GR-2 机器人大模型!全新三维生成模型3DTopia-XL!

文摘   2024-10-10 21:42   广东  

01






开源软件 Gradio 5 来了!只需几行代码,轻松构建高效AI应用!

Gradio 是一个开源 Python 软件包,可让用户快速为机器学习模型、API 或任意 Python 函数构建 Demo 或 Web 应用程序。然后,用户可以使用 Gradio 的内置共享功能在几秒钟内通过公共链接分享 demo。无需 JavaScript、CSS 或 Web 托管经验!

Gradio 5 来了!

Gradio 最新版本旨在弥补机器学习人员的专业知识和 Web 开发技能之间的差距Gradio 5 提供了高性能、可扩展、美观且符合最佳 Web 安全实践的应用开发能力。通过简单的 Python 代码,开发者可以快速创建和部署机器学习应用。同时引入了服务器端渲染、现代化设计、低延迟流媒体支持以及实验性的 AI Playground,进一步提升了开发体验。

  • 快速入门:https://www.gradio.app/guides/quickstart

  • 项目地址:https://github.com/huggingface/blog/blob/main/gradio-5.md



02






字节跳动发布 GR-2 机器人 AI 大模型,具备世界建模和强大泛化能力
字节跳动研究团队最新推出了第二代机器人大模型 GR-2(Generative Robot2.0),其亮点在于创新构建“机器人婴儿期”学习阶段,模仿人类成长学习复杂任务,具备卓越的泛化能力和多任务通用性。

和许多大模型一样,GR-2 的训练包括预训练和微调两个过程。

预训练阶段GR-2“观看”了多达 3800 万个来自各类公开数据集的互联网视频以及 500 亿个 tokens,涵盖了家庭、户外、办公室等多种日常场景,让 GR-2 具备在后续策略学习中跨越广泛机器人任务和环境的泛化能力。

GR-2 官方项目页面:https://gr2-manipulation.github.io

微调阶段,团队使用机器人轨迹微调了视频生成和动作预测,展现出卓越的多任务学习能力,在超过 100 个任务中实现了平均成功率 97.7%。

此外,GR-2 在新颖、之前未见的场景中表现出色的泛化能力,包括新的背景、环境、物体和任务。



03






3DTopia-XL:下一代高质量3D资产生成的变革

近年来,3D资产生成技术经历了诸多突破,从游戏开发到虚拟现实、影视制作,3D内容需求的快速增长正催生着更加高效且智能化的生成工具。然而,目前的3D生成技术面临不少挑战,尤其是在优化速度、几何细节保真度以及物理渲染(PBR)资产生成方面。因此,一款具备高度扩展性、并能生成高质量3D内容的工具呼之欲出。

最近,上海人工智能实验室(Shanghai AI Lab)与南洋理工大学(NTU)共同推出了新一代的三维生成大模型 3DTopia-XL,能够从图片或文字单阶段直出具有 PBR(物理渲染)材质的高质量三维数字资产。

  • 论文标题:3DTopia-XL: Scaling High-quality 3D Asset Generation via Primitive Diffusion

  • 代码链接:https://github.com/3DTopia/3DTopia-XL

  • 在线 Demo:https://huggingface.co/spaces/FrozenBurning/3DTopia-XL

  • 技术报告:https://arxiv.org/abs/2409.12957


3DTopia-XL 是一种针对高质量3D资产生成的本地化生成模型。

该模型的核心技术在于其创新的 "Primitive Diffusion"(原始扩散)技术,并结合一种名为 PrimX 的 3D 表示形式。PrimX 能够将复杂的形状、材质与细节字段压缩成紧凑的张量格式(tensorial format),从而极大地优化了 3D 资产的几何精度和渲染效果。

3DTopia-XL 具备文本和视觉输入的多模态支持,这意味着它可以从简单的文本描述或图片生成高质量的 3D 模型。无论是生成复杂的建筑物、科幻场景,还是人物角色,这款模型都展现出极佳的通用性与灵活性。



参考:
https://venturebeat.com/ai/gradio-5-is-here-hugging-faces-newest-tool-simplifies-building-ai-powered-web-apps/

HsuDan
拥抱AI技术,分享人工智能、机器学习、数据分析等多个领域的优质资讯、学习资源、实践案例、开源项目及开发工具。
 最新文章