1秒让3D模型变动画!腾讯中科大联手开源AI新技术

科技   2024-12-16 12:09   北京  
全文2000字,阅读需4分钟。本文分享腾讯中科大联手的开源项目AI动画制作工具以及实测后的感悟。
果觉得AM易道文章有价值,请读者朋友帮忙转发点赞在看评论,支持AM易道创作
AM易道本文与文中提到企业(如有)不存在任何形式商业合作、赞助、雇佣等利益关联。
图片视频来自于网络,仅作为辅助阅读之用途,无商业目的。版权归原作者所有,如有任何侵权行为,请权利人及时联系,我们将在第一时间删除。

AM易道导语:

在3D数字创意产业加速发展的今天,一项开源技术再次刷新了我们的认知边界。


还记得昨天AM易道为大家介绍的10秒内将2D图片转为3D模型的InstantMesh黑科技吗?

10秒图片重建3D模型的开源魔法!昂贵NFT能否3D打印?

今天,我们将更进一步,尝试从3D模型直接转换为动画模型的神器:Make-It-Animatable框架。

这项来自中国科学技术大学和腾讯PCG团队的最新研究成果,实现了对3D模型的"闪电级"动画绑定:

只需1秒,就能让静态的3D模型获得完整的动画能力!

这意味着,从InstantMesh生成的模型,到艺术家手工创作的角色,甚至是3D扫描获得的模型,都能立即变身为可动的生动角色。

更令人振奋的是,研究团队选择了完全开源的方式分享这一突破性成果。

开源信息在文末。

AM易道认为,Make-It-Animatable的出现,让每个人都拥有了从创意到动画的制作能力。

技术创新:解构1秒动画的魔法

从下图我们可以直观地看到这个神奇的转换过程:

无论是卡通人物还是写实角色,无论是标准姿势还是特殊造型,系统都能快速生成精确的骨骼结构和动画控制系统。

这种"万物皆可动"的通用性,背后蕴含着三大核心技术创新:

1. 粗到精的形状表示

这项技术首创了一种类似"先轮廓后细节"的处理策略。

系统首先进行粗略的形状分析,就像素描画家先打形,确定角色的整体结构。

随后通过层次化采样策略,重点关注手指等需要精细控制的区域。

2. 基于粒子的通用编码器

从技术流程图我们可以看到,系统采用了创新的粒子化表示方法。对具体技术细节感兴趣的读者可以自行查阅原文。

这就像是将3D模型转换成了一种"通用语言",不管原始模型是什么形式,系统都能准确理解其结构特征。

尤其引人注目的是它的几何感知注意力机制,能够精确捕捉模型的局部细节特征。

3. 结构感知的智能建模

下图展示了系统如何理解角色的骨骼结构。
骨骼结构是动画效果的核心。

通过一种创新的因果注意力机制,系统能像经验丰富的动画师一样,准确理解角色各个部位之间的层级关系。

这确保了生成的骨骼结构既符合角色特征,又满足动画需求。

开源实测:从静态到动态的魔法时刻

Make-It-Animatable项目的完整开源为我们提供了亲身体验这项黑科技的机会。

通过深入的实测,让我们一步步还原这个令人惊叹的过程:

部署测试环境

项目提供了两种使用方式:

  • 在线Demo(https://make-it-animatable.jasongzy.com/)

  • 本地部署:适合需要批量处理或进行二次开发的用户

多场景测试效果

第一个测试是疯狂动物城兔子警官角色,传统的T型结构输入,效果非常不错:

第二个测试是多骨骼测试,选用了卡通老虎造型,给予了多骨骼,可以看到卡通老虎的身体形态比之前的兔子警官要更加丰富。

导入到Blender之后,发现可调的骨骼非常多,并且位置非常精准,使得这只卡通虎的耳朵和尾巴都灵动了起来!

最后团队还展示了各种爆款IP的模型转动画效果,另AM易道叹为观止。
通过AM易道上一篇文章的InstantMesh和本文的MakeItAnimatable相结合,团队展示了通过一张图片直接生成动画或游戏的真实应用!!
AM易道吃瓜观看春丽大战飞龙!

AM易道实测
还记得上一篇开源测试中AM易道用的熊猫吗?

AM易道将对这只熊猫展开实测,一探究竟:
可以看到算法把熊猫的骨骼定义在了腿部、胳膊和肘部,虽然位置不是很精准,但对于穿了袍子,并且没有摆出清晰T字造型的模型来说已经非常厉害:

我们来看看最终成果:
成功的跑了起来!虽然有些模型错误,体态也有些中二,但我们依旧得到了一个AM易道自创的动画熊猫:

开源的力量:AM易道最后聊两句
AM易道在玩得不亦乐乎同时,感悟颇深:在游戏开发领域,这项技术将彻底改变角色制作流程。
随着算法的不断提升,游戏设计师或许再也不必被繁琐的角色绑定工作所困扰。
当一个酷炫的角色概念诞生图片之时,创作者可以立即看到它在游戏中活灵活现的样子。
这种即时反馈不仅能加速开发进程,更能激发更多创意的萌芽。
动画制作、元宇宙内容创作、教育培训更不必说,有了这类工具,人类的创作方式很难再回到过去。
AM易道认为,让模型设计出来、造出来和让模型活起来都有各自巨大的商业价值,随着AI工具的进一步强大,商业的边界会逐步模糊。
也希望3D打印从业者有所启发。

此文展示的技术根基,研究团队选择了开源,AM易道为之点赞。
开源地址:https://github.com/jasongzy/Make-It-Animatable

通过开放技术,激发全球创作者的想象力,这必将催生出更多令人惊叹的创新应用。
让我们期待Make-It-Animatable在不同领域绽放出绚丽的创意之花!

感谢您阅读到了最后,如果觉得AM易道文章有价值,请您点赞、转发、关注AM易道,与您一道深度读懂数字制造的过去、现在和未来。


AM易道
为3D打印以及人工智能从业者提供有价值的信息。(行业分析,科技树展望,竞争策略,内幕消息)
 最新文章