今天给大家推荐的是Facebook开源的AnimatedDrawings。
主要功能是让儿童简笔画里的主体角色动起来。
这个AI项目落地场景很不错,儿童艺术创作领域。
儿童对人物形象的描绘非常富有表现力且多种多样。谁家小朋友不希望看到这些人物栩栩如生地在纸上移动呢?
功能上看起来倒是有点像AnimateAnyone,但是还是有区别的。
AnimatedDrawings针对儿童绘画做了很多针对性的优化,官方给的动作模板也更加适合儿童场景。
项目简介
AnimatedDrawings 将儿童手绘图像转化为动画,核心在于将抽象和简化的手绘人物转化为动态的动画表现。通过检测图像中的人形图案、分割出人物轮廓、估算姿势并生成骨骼架构,最终将动作捕捉数据映射到这些骨骼架构上,从而实现动画效果。项目使用了深度学习技术与传统图像处理方法相结合,解决了图像质量、姿势估计等多方面的难题。
DEMO
先看下官方给的介绍视频。
(本视频字幕由SubCat提供)
默认输出的是透明GIF
一个场景中有多个角色
添加背景图像
技术细节
先大概看下生成的流程图。
1.人物检测:系统需要在画作中识别出人类人物,并预测一个紧密包围人物的边界框。
2.图像分割:系统使用边界框内的内容来获得一个分割掩码,将属于人物的像素与背景像素分离。
3.姿态估计:系统对人物进行姿态估计,识别一系列骨骼关节。
4.生成角色骨架:有了原始图像、分割掩码和关节位置,系统可以生成一个适合动画的角色骨架。
5.动画制作:系统通过将动作捕捉数据重新定位到角色骨架上,来制作动画。
项目链接
https://github.com/facebookresearch/AnimatedDrawings
点击关注「AIGC Studio」公众号