Motionshop—AI替换视频人物。上传一段视频，AI自动检测视频中的人物，并替换成3D卡通角色模型，生成有趣的AI视频。
相关链接
项目主页：https://aigc3d.github.io/motionshop/
试用地址：https://modelscope.cn/studios/Damo_XR_Lab/motionshop/summary
如何使用
Motionshop—AI替换视频人物，上传一段视频，AI自动识别视频中的运动主体人物，并一键替换成有趣的3D角色模型，生成与众不同的AI视频。
第一步：上传一个包含完整人物的视频（请保证视频一镜到底且人物始终清晰完整，视频会自动截取前30秒）；
第二步：选择视频中要替换的人物（暂时不支持手动选择，算法会自动选择。
第三步：选择要替换的虚拟角色模型并点击生成，等待10分钟即可生成结果
论文介绍
摘要
我们提出了一个框架，用 3D 头像替换视频中的角色。我们的框架由两部分组成：
视频处理管道，用于提取修复的背景视频序列； 姿势估计和渲染管道，用于生成头像视频序列。
通过并行化这两个管道并使用高性能光线追踪渲染器TIDE，整个过程可以在几分钟内完成。
方法
字符检测
通过使用基于 Transformer 的框架将文本信息与现有的闭集检测器紧密融合，零样本目标检测也能取得良好的效果。通过开集目标检测方法检测感兴趣的目标候选，然后采用主导选择方法确定最终的目标区域。
分割与追踪
一旦成功检测到目标，就通过视频对象分割跟踪方法跟踪像素级目标区域，该方法由广泛使用的零样本分割方法、任何对象分割模型 (SAM)初始化和细化。与直接使用 SAM 相比，时间对应性得到提升，以更好地处理视频分割任务。
修复
剩余的图像区域由视频修复方法ProPainter 完成。具体来说，使用循环流完成来恢复损坏的流场，在图像域和特征域上采用双域传播来增强全局和局部时间一致性，同时，仅考虑部分标记的稀疏策略提高了效率并减少了内存消耗，同时保持了性能。
姿态估计
给定人物视频序列，采用姿态估计方法CVFFS 估计稳定人体姿态，采用SMPL 人体模型表示三维人体，是目前广泛应用的人体形态和姿态估计参数模型。
动画重定向
将估计的形状和姿势重新映射到所选的 3D 模型上。然后该模型可以像原始视频中的角色一样自然流畅地播放。即使原始角色和新模型之间存在显着差异，也可以获得令人满意的结果。
照明估算
当新的 3D 模型替换感兴趣的角色时，光照条件需要与原始视频保持一致。我们应用光照估计来更好地融合新的 3D 模型和原始场景。在未来，我们还将使用光照估计来处理阴影。
渲染
全新 3D 模型采用路径追踪渲染引擎TIDE 进行渲染，搭配精准材质系统，辅以运动模糊、时间域抗锯齿、时间域去噪等算法，将真实感与速度完美结合，为用户更高效地获取视频内容奠定了坚实基础。
构成
最后将渲染后的图像与原始视频合成，生成最终的视频。
效果
感谢你看到这里，也欢迎点击关注下方公众号并添加公众号小助手加入官方读者交流群，一个有趣有AI的AIGC公众号:关注AI、深度学习、计算机视觉、AIGC、Stable Diffusion、Sora等相关技术，欢迎一起交流学习💗～
