11.6k星星!Facebook开源的儿童手绘AI转动画项目,儿童艺术创作赛道可落地。

文摘   2024-12-22 00:52   江苏  


今天给大家推荐的是Facebook开源的AnimatedDrawings。


主要功能是让儿童简笔画里的主体角色动起来。


这个AI项目落地场景很不错,儿童艺术创作领域。


儿童对人物形象的描绘非常富有表现力且多种多样。谁家小朋友不希望看到这些人物栩栩如生地在纸上移动呢?


功能上看起来倒是有点像AnimateAnyone,但是还是有区别的。


AnimatedDrawings针对儿童绘画做了很多针对性的优化,官方给的动作模板也更加适合儿童场景。



项目简介


AnimatedDrawings 将儿童手绘图像转化为动画,核心在于将抽象和简化的手绘人物转化为动态的动画表现。通过检测图像中的人形图案、分割出人物轮廓、估算姿势并生成骨骼架构,最终将动作捕捉数据映射到这些骨骼架构上,从而实现动画效果。项目使用了深度学习技术与传统图像处理方法相结合,解决了图像质量、姿势估计等多方面的难题。


DEMO


先看下官方给的介绍视频。


(本视频字幕由SubCat提供)


默认输出的是透明GIF



一个场景中有多个角色



添加背景图像



技术细节


先大概看下生成的流程图。


1.人物检测:系统需要在画作中识别出人类人物,并预测一个紧密包围人物的边界框。



2.图像分割:系统使用边界框内的内容来获得一个分割掩码,将属于人物的像素与背景像素分离。




3.姿态估计:系统对人物进行姿态估计,识别一系列骨骼关节。



4.生成角色骨架:有了原始图像、分割掩码和关节位置,系统可以生成一个适合动画的角色骨架。



5.动画制作:系统通过将动作捕捉数据重新定位到角色骨架上,来制作动画。


项目链接


https://github.com/facebookresearch/AnimatedDrawings


 点击关注「AIGC Studio」公众号



AIGC Studio
一个有趣有AI的AIGC公众号:关注AI、深度学习、计算机视觉、AIGC、Stable Diffusion、Sora等相关技术。这里不仅有简单易懂的AIGC理论实践和AI学习路线,还有大厂工作经历和体会分享。如果有幸能给你一些帮助就更好啦!
 最新文章