3D场景一键生成!被Autodesk收购后,AI动画顶流公司推出视频转3D场景,实时动画技术颠覆视觉效果行业

教育   2024-11-02 08:01   上海  

AI动画

创业者


前阵子3D建模扛把子Autodesk收购的Wonder Dynamics发布新的AI工具,实现多摄像机视频一键转换至全动画3D场景,赋能动画师,挑战传统VFX工作流,简化后期制作。

3D场景一键生成!Wonder Dynamics推出AI工具,助力动画师节省数小时工作时间

AI动画建模来到新阶段,被Autodesk收购的Wonder Dynamics强势推出新的AI 3D功能Wonder Animation。这项技术能将真实视频瞬间转化为3D场景,具备可定制的摄像机设置、全身和面部动画,以及可编辑元素,全部在一个3D空间内完成

“这个想法是,你可以在自己的客厅拍摄和编辑视频,按照你想在动画中看到的表现、剪辑和镜头构图来进行,”Wonder Dynamics 联合创始人 Nikola Todorovic 说道。“这个过程会为你提供快速的预可视化,最重要的是提供3D场景以便在 Blender、Maya 或 Unreal 中编辑每一个元素。”

令人印象深刻的是,你可以使用多个相机拍摄同一场景,就像通常对待人类演员一样,视频转3D流程将通过估计脚步行走和其他指标将它们放置在同一场景中,虚拟相机跟随原始动作。这在制作初期非常有帮助,尤其是在拍摄工作尚未确定时。

与一些生成式和文本到视频(或视频到视频)模型不同,Wonder Animation 工具的输出都是行业标准的 3D 资产。一旦拍摄完成,它并不会被锁定——你可以拖放相机并调整角色的动作,或者完全重新组合和重新打光场景。虽然在原版 Wonder Studio 中也有一些这样的可能性,但这里的重点是全动画场景,而不是将一个演员替换为 CG 角色。

Wonder Studio的核心创新在于其 AI 引擎,旨在管理运动捕捉,而不需要传统的动作捕捉服或额外设备。这对从事实时图形或游戏开发的电影制作人和动画师非常具有吸引力——从一些镜头获取起点似乎是一个简单的设置。

在技术部署方面,Wonder Dynamics 正在将这项技术推向视觉效果管道,提出了它在其他工作环节中对经验丰富的制作艺术家的实际应用问题。作为一种“阻塞”工具,它可能非常有帮助,同时也是模拟中碰撞设置的基础。

它是如何工作的:后期制作中的运动捕捉

Wonder Studio 的方法摒弃了传统的动作捕捉服,而是依靠 AI 直接从镜头中映射角色的动作。对于熟悉动作捕捉技术的人来说,这打开了新的可能性,尽管显然有一些局限性需要考虑。在没有物理跟踪设备的情况下整合基于 AI 的角色动画提供了可访问性与控制之间有趣的权衡,但可能在精度上会妥协。对于技术总监来说,这可能意味着虚拟制作需求的转变,可能更符合小型工作室或独立开发者的需求。然而,事实核查 AI 驱动的角色动作结果仍然至关重要,因为现实世界的使用将揭示任何局限性。

AI 3D

创业者


AI+3D建模/动捕相关的创业内容:


AI数字人精华:数字人动画工具/AI数字人生成方案/AI动捕/AIGC+虚拟化身


AI虚拟伴侣方案/数字人动捕/虚拟化身工具合集/基于AI的动捕......上半年数字人内容汇总1⃣️


AIGC创意库合集/终极XR开发指南/虚拟人+ChatGPT开源方案/数字人动捕方案

Wonder Studio的定价在每年略超过1000美元。该套餐为制作艺术家提供了一系列功能,例如最大分辨率为4K的导出、80GB的存储空间和2000MB的视频上传限制。用户可以上传多达15个自定义角色,并访问四人动作捕捉,导出选项涵盖动作捕捉数据、完整场景、相机跟踪、干净背景和alpha遮罩。额外的PNG格式导出为视觉效果工作流提供灵活性,而高级实拍和独立AI动作捕捉功能支持多种动画项目类型。该套餐附带商业许可证,专为行业用途设计,兼容高强度后期制作和视觉效果要求。

以下是Autodesk的官方博文:

https://adsknews.autodesk.com/en/news/autodesk-launches-wonder-animation-video-to-3d-scene-technology/

推出Wonder Animation:新的AI动画电影解决方案,采用尖端的视频转3D场景技术

Wonder Dynamics推出了Wonder Animation的测试版,该版本利用开创性的视频转3D场景技术,通过将任何视频序列转换为3D动画场景,加速动画电影制作。作为Wonder Studio工具集的一部分,Wonder Animation的视频转3D场景技术可以拍摄和编辑多个镜头和不同角度的序列,然后利用AI在3D空间中重建场景。

Wonder Animation的测试版现已向所有Wonder Studio用户开放,旨在让艺术家更接近于制作完整动画电影,同时确保艺术家保留完全的创作控制——这与其他依赖自动化输出的生成AI工具不同。

自我们加入Autodesk以来已经五个月,这段时间进一步巩固了Wonder Dynamics的基础愿景与Autodesk长期致力于通过创新推动媒体与娱乐行业发展的完美契合。我们共同相信,更加有意识地使用AI可以增强创造力和效率,使艺术家能在讲故事的创意方面投入更多时间。我们成立Wonder Dynamics,并开发了Wonder Studio(我们的云端3D动画与视觉特效解决方案),源于对讲故事的热情以及让视觉特效工作更易于更多创作者和电影制作者访问的承诺。

今天,Wonder Dynamics高兴地宣布Wonder Studio最新功能Wonder Animation的测试版发布,该功能由开创性的视频转3D场景技术驱动,使艺术家能够使用任何相机在任何地点拍摄场景,并将该序列转变为带有CG角色的3D动画场景。

Wonder Animation的视频转3D场景技术中最具创新性的部分是其能够拍摄和编辑多个镜头和不同角度(宽镜头、中镜头、特写)的序列。该技术随后利用AI在3D空间中重建场景,并匹配每个相机与角色和环境之间的关系位置和运动。

这基本上创建了艺术家现场拍摄场景的虚拟表现,其中包含所有相机设置以及角色身体和面部动画,在一个3D场景中以完全可编辑的元素(动画、角色、环境、灯光和相机跟踪数据)呈现,艺术家可以在其首选软件中进行处理,如Maya、Blender或Unreal。

尽管AI技术已经取得了巨大的进步,但当前仍存在一种误解,即AI是“一键解决方案”——但我们知道事实并非如此。Wonder Animation强调了我们在让艺术家更接近制作完整动画电影的同时,确保他们保留完全创作控制的关注点。与市场上大多数生成AI工具的黑箱方法不同,我们赋予艺术家塑造自己愿景的能力,而不仅仅依赖自动化输出。

—— End ——

今日【驶向互联网下一站】社区内容,AI商业化、XR技术应用、以及一人商业模式的多个方面,为相关领域的创业者、创业者和投资人提供内容、信息和数据支持!社区VIP双11最低价开启,每天限量优惠!

1、这个产品挺有意思的,之前社区分享的3D无代码Spline搞了一个【AI Voice 3D 体验】:

https://t.zsxq.com/WDP65

2、创业5个月用户增长5倍!AI会议助手Granola获2000万融资,70%新用户持续使用:

https://t.zsxq.com/PV5JC

3、借助短视频爆火、面向Z时代的AI消息创意工具,7人团队打造下一代iMessage!

https://t.zsxq.com/T4zZR

4、 适用于空间计算、VR设备的AI全景交互沉浸式场景【产品方案】适合产品化:

https://t.zsxq.com/eXQaH

5、顶尖AI独立开发者做项目用到的十个生成式AI资源库(实战方案 - 精选),可二次开发:

https://t.zsxq.com/X770A

6、有没有创业者做基于AI大模型的图书推荐平台社区的,最近看到一个类似的应用,可以参考:

https://t.zsxq.com/b2ODJ

7、生成式AI+医疗,这一波有哪些新的机会,一些值得参考的数据和趋势整理:

https://t.zsxq.com/obsMi

8、 【方案库】垂直面向室内设计的3D生成方案,根据布局和文本描述一键生成3D室内设计图,适合产品化:

https://t.zsxq.com/tbqXa

9、 【AI+电商产品化】AI购物助手,PH热榜产品,有没有铁子做针对跨境电商、或者国内类似的电商助手体验:

https://t.zsxq.com/lynfe

10、【创业经验】AI生成3D模型赛道的顶流产品CSM CEO聊生成式AI+3D的未来:从资产到世界构建:

https://t.zsxq.com/vtsSs

如何查看:扫码加入社区即可查看

三次方AIRX
加微:XDZ8833,进万人AI和XR创业者裙。三次方-聚焦下一代互联网的科技产业服务平台!包含媒体服务、智库、社区等业务!面向下一代互联网的创业者社区,关注AI、XR、一人商业等
 最新文章