图片来源：Cartwheel
在当前竞争激烈的3D生成技术领域，众多科技巨头和创业公司纷纷入局，推动了技术的快速发展和应用。Cartwheel，通过其Text-to-Motion技术和自动化运动合成，为3D角色制作带来革命性的简化。 公司自研的深度学习模型结合传统动画技术与AI，实现了高质量、逼真的人体动作生成，还与现有3D工作流无缝集成，致力于成为艺术工作者的AI伙伴。 Cartwheel成立于2023年，是一家AI 3D动画角色生成初创公司，总部位于纽约，由具有丰富创意和技术背景的多元化团队组成，其联合创始人Jonathan Jarvis和Andrew Carr分别在动画、游戏工作室以及自动驾驶、音频理解和语言模型等领域具有专业经验。该公司在2024年6月完成了560万美元的种子轮融资，由知名风险投资公司Accel领投，Khosla Ventures、Human Ventures、Heretic VC、MVP Ventures等天使投资者跟投。
众所周知，游戏、电商、影视、医疗、工业等领域对3D内容的需求较大，并且随着沉浸式娱乐（VR/XR设备）的渗透，对3D内容的需求会日益增长。传统的3D制作领域面临诸多挑战，从原画设定到搭建模型再到动画制作等多个流程，面临包括精度与效率的平衡难题、数据安全与隐私保护的高风险、跨平台兼容性的不足、复杂模型的几何处理需求、实时光线追踪技术的限制、生产环节分散导致的成本高昂和产能不足，以及高质量3D数据的稀缺性和昂贵性等问题。这些问题共同构成了3D制作行业的痛点，行业内一直致力于通过各种类型的技术创新和流程优化来解决。
AI技术的迅猛发展激发了全球大型企业和初创公司在3D生成技术领域的探索热情。在这场技术革新的浪潮中，3D建模的传统方法，如点云、多边形网格、体素以及NeRF等，正逐渐与新兴技术融合。科技巨头如Google、OpenAI、Nvidia正通过各自的技术模型和路径，在3D生成领域进行各自的创新探索。
与此同时，一些初创企业也在3D生成技术的道路上展现出各自的特色和专业方向。Cartwheel便是其中一家独具匠心的初创公司，它侧重于快速生成多样化的3D角色动作效果，极大地简化了3D角色动画的制作过程。
图片来源 ：Cartwheel
02 高质量人体运动模型塑造下一代逼真3D角色动画
Cartwheel是一家由Jonathan Jarvis和Andrew Carr在2023年共同创立的AI 3D动画生成初创公司，总部位于美国纽约。该平台允许用户在可编辑的3D资产上合成运动，仅需一键操作，用户即可快速定制角色动作、调整摄影机视角、控制动画速度、更换背景以及调整画面比例，同时还能够添加并编辑文本。用户可以轻松生成各种动作的角色，支持动画直接导出至多种3D编辑软件，以下是其技术的特点：
1.文本驱动的动画生成：Cartwheel开发的工具实现了文本到动画的直接转换，自动化地根据用户输入的文本描述生成动画内容。
2.自动化运动合成：提供在3D资产上合成运动的能力，使用户能够轻松地为角色添加动作，调整摄像机角度和运动速度，无需手动进行繁琐的动画制作，以匹配剧情节奏或创造特定的视觉效果。
3.高质量人体运动的深度学习模型：动作通过矩阵形式表示，包含姿势、时间和速度等多维度信息，形成动作矩阵。将传统动画技术，如关键帧设置、曲线编辑、逆向运动学(IK)、混合和运动变形，与深度学习技术如transformers和diffusion模型结合起来，形成高质量的人体运动深度学习模型，这个模型将动作矩阵与文本描述相结合，形成动作-语言对，用户可以仅用几个词就能创造出独特、逼真的人类动作。
如何通过奖励机制训练AI模拟出既准确模仿又具有独特风格的虚拟角色动作，图片来源：youtube
如何通过控制运动学能量来影响模拟角色的动作风格定制，图片来源：youtube
4.符合道德标准的数据来源：数据来源于多个渠道，并且确保数据的收集和使用遵循伦理规范，保护隐私，合法合规。
5.专业标注者：系统使用人工标注者对动作数据进行分类和描述，为机器学习模型提供训练数据，使其能够理解和学习动作。
6.与现有3D工作流的无缝集成：该平台能够将动画导出为标准的3D格式，再导入到Maya、Blender、Cinema 4d、3DS Max、Houdini中进行精细编辑，也能够直接导入Unreal Engine、Unity、Godot、O3DE等游戏引擎，非常适合战斗、NPC、动画列表和过场动画。
7.简洁的用户界面：Cartwheel注重提升用户体验，通过简化操作流程和提供直观的用户界面，使得即使是非专业的动画制作者也能快速上手并制作出高质量的3D动画。
在Cartwheel的平台上，用户可以通过如下步骤来生成3D角色动作：
图片来源：Cartwheel
视角控制：界面左侧提供基础功能键，包括旋转、平移、放大和缩小，以实现对3D场景的全方位视角操控。
动作设置：右侧首个功能区域专注于为3D人物配置动作，涵盖一系列预设动作，如前踢、打高尔夫、拳击、霹雳舞、无法控制的笑、以及快乐地前行等，以适应不同的动画需求。
细节定制：第二个功能键用于细化人物特征，包括手部动作、面部表情和肤色调整，确保人物表现的细节丰富且个性化。
动画参数调整：通过第三个功能键，用户可以微调人物动作的速度、帧率、阴影效果以及背景颜色等动画参数，以优化动画的流畅度和视觉效果。
个性化标签：最后，用户可以为人物添加个性化标签，自定义标签内容、字体样式和颜色，进一步彰显人物的独特性。
3D角色展示区，包括僵尸步、capoeira（巴西的武术和舞蹈）、喝水、劈柴、斯底里地笑等复杂动作
03 Cartwheel：动画师和艺术家的AI创意伙伴
Cartwheel的商业愿景不在于取代现有的动画师或艺术家，而是在于简化和自动化那些重复且耗时的基础动画制作任务，从而释放创作者的时间和精力，让他们能够专注于更高价值的创造性工作。业界已经广泛接受将AI工具作为节省时间的助手，关于AI取代创造性工作的讨论，Cartwheel的立场是：它实际上扩展了创作的可能性。
在像皮克斯这样的顶尖动画工作室和普通手机用户之间，存在着广阔的中间地带，Cartwheel的目标是服务于这个中间地带，为那些专业的动画工作室、游戏开发者、广告创意人以及独立艺术家们提供一个强大的工具，帮助他们克服技术壁垒，激发创造力。
“你得到的动画平均而言大约完成了80%。”公司表示，“它可以产生令人印象深刻的专业级结果，有时候会出错，但它比传统的动画工作流程要快得多，也简单得多，特别是在一个过程中有多个艺术家共同工作，甚至小的调整也需要沿着生产线上下传递的环境中。”
在广告中添加Cartwheel制作的复杂的3D角色动画，且无需花费大量资金，视频来源：Cartwheel
为VR和AR创建完整的360°3D动画，视频来源：Cartwheel
04 Google、OpenAI背景的多元化精英团队，获美国头部基金数百万美元融资
Cartwheel团队是一个多元化的小型精英团队，成员们通过远程协作紧密联结，其中既包括了极具创意的艺术工作者、也有具备严谨的工程思维以及计算机机器学习背景的成员。他们共同以创新精神和专业技能，推动3D动画技术的突破与应用。
图片来源：Cartwheel
Jonathan Jarvis，公司联合创始人兼CEO，毕业于美国宾夕法尼亚大学沃顿商学院，同时拥有ArtCenter College of Design的媒体设计学位，在创立Cartwheel的同时，他还经营着动画和游戏工作室Universal Patterns，该工作室曾与Ray Dalio合作经济类电影《不断变化的世界秩序》。在创业之前，他曾作为创意总监在Google工作长达6年多，与机器学习、搜索、Android和Workspaces团队一起设计并推出了许多新产品和功能，并曾经领导了新的Google品牌识别和徽标系统的设计，并与Creative Lab团队一起创建了若干个全球营销活动。
来源：linkedin
Andrew Carr，公司联合创始人兼首席科学家，毕业于美国杨百翰大学，拥有扎实的应用数学和计算机科学的背景。在创办Cartwheel之前，他曾经在Lyft从事基于物理的自动驾驶汽车预测工作，在Google Brain从事音频理解的自监督模型，在OpenAI从事程序合成的语言模型工作。
来源：linkedin
Cartwheel在2024年6月获得由知名VC Accel领投的560万美元种子轮融资，Khosla Ventures、Human Ventures、Heretic VC、MVP Ventures、Correlation Ventures、Pelion VC和少数天使投资人也参与该轮融资。
“Cartwheel将使3D动画的制作比以往任何时候都更加容易。以前需要一天时间来完成的工作，现在只需几秒钟，将制作过程加速了接近100倍，让艺术家们有更多的时间来探索和创作。这也意味着更多的人可以通过动画的形式来讲述令人难以置信的故事，而专业动画师则可以承担更大、更有雄心的项目。”投资方Accel的Dan Levine这样说。
作者：Bei Sun
References:
https://techcrunch.com/2024/06/05/cartwheel-generates-3d-animations-from-scratch-to-power-up-creators/
https://www.accel.com/noteworthy/our-seed-investment-in-cartwheel-making-3d-animation-more-accessible
https://jonathanjarvis.com/
https://getcartwheel.com/home
https://www.youtube.com/watch?v=3IFLVOaFAus
-----------END-----------
