作者 | Jie Zhou等 编辑 | AIGC Studio
点击下方卡片，关注“3D视觉之心”公众号
>>点击进入→3D视觉之心技术交流群
今天给大家介绍一个非常好玩的应用，这个模型可以让你任意的纸片人动起来！效果也是非常的可爱！火柴人也能自由旋转、跳跃，甚至执行复杂的舞蹈动作。
下图所示为DrawingSpinUp产生视觉上生动的3D角色动画(右)，给出了单一输入绘图(左下)和目标运动(左上)。
下面为效果动图展示，可以看出还是非常有趣的，更多的动图效果下文章下面，请小伙伴继续阅读~
相关链接
论文地址：https://arxiv.org/pdf/2409.08615
代码地址：https://github.com/LordLiang/DrawingSpinUp
项目主页：https://lordliang.github.io/DrawingSpinUp
论文阅读
DrawingSpinUp：单个角色绘图的 3D 动画
摘要
为各种人物画制作动画是一项引人入胜的视觉内容创作任务。给定一个人物画，现有的动画方法仅限于平面 2D 运动，因此缺乏 3D 效果。另一种解决方案是从人物画中重建 3D 模型作为代理，然后将 3D 运动数据重新定位到其上。然而，现有的图像到 3D 方法在外观和几何方面对于业余人物画效果不佳。人物画中通常存在的轮廓线会因其视图依赖性而在纹理合成中引入显著的歧义。此外，由于单线轮廓表示的细区域结构精细，因此很难重建（例如，火柴人细长的四肢）。
为了解决这些问题，文章提出了一个新颖的系统 DrawingSpinUp，以制作可信的 3D 动画并为人物画注入生命，让它们自由旋转、跳跃，甚至表演嘻哈舞。为了改善外观，采用先移除后恢复的策略，首先移除与视图相关的轮廓线，然后在重新定位重建的角色后将其渲染回来。为了细化几何形状，该方法开发了一种基于骨架的细化变形算法来细化单线轮廓所表示的细长结构。实验评估表明提出的方法优于现有的 2D 和 3D 动画方法，并能从单个角色绘图生成高质量的 3D 动画。
方法
DrawingSpinUp 流程。
（a）首先通过 FFC-ResNet 移除并修复输入绘图的轮廓区域。
（b）使用预先训练的 Wonder3D 生成粗略3D几何图形，然后细化其形状和纹理。
（c）提出了一个两阶段几何感知风格化网络来恢复每个动画帧的原始绘图风格。
实验
和之前的工作比较
DrawingSpinUp方法与基于2d的动画方法进行比较。
DrawingSpinUp方法与其他基于3d的动画方法进行比较:DreamGaussian和Wonder3D。
消融实验
没有(上)和(下)轮廓去除的比较。
三种场景的对比:不切不切(上)、只切(中)和切不切(下)。
无(上)和有(下)旋转不变卷积的比较。
限制
不恰当的边缘提取
当提取阈值不合适的边缘时，轮廓渲染可能会产生伪影，如红色虚线圈所示。
轮廓线太粗的例子
扫码添加小助理进群
3D视觉之心知识星球主打3D感知全技术栈学习，星球内部形成了视觉/激光/多传感器融合SLAM、传感器标定、点云处理与重建、视觉三维重建、NeRF与Gaussian Splatting、结构光、工业视觉、高精地图等近15个全栈学习路线，每天分享干货、代码与论文，星球内嘉宾日常答疑解惑，交流工作与职场问题。
