TANGO :开源的Heygen?支持面部、唇形同步和肢体运动视频

职场   2024-10-16 17:00   北京  

目前开源的HeyGen类似项目基本都支持面部和唇形同步,不支持更大范围的肢体运动。之前文章里也介绍不过不少工具。

TANGO 这个项目只需要提供几十秒的肢体运动视频,就可以无限生成匹配对应音频的全身视频。再搭配上一些唇形同步开源项目比如快手的LivePortrait,完美复刻HeyGen不在话下。

项目地址:https://pantomatrix.github.io/TANGO/

体验地址:https://huggingface.co/spaces/H-Liu1997/TANGO

逻辑:

  • 该系统会分析参考视频,创建一个包含各种可能身体姿势和动作转换的"动作图谱 (motion graph)"。 

  • 接着,系统会选择最能配合音频的最佳动作序列。 

  • 最后,它会生成流畅的过渡帧,从而创建出一个真实自然的动作视频。

    体验一下:


有了这个,2D数字人是不是也很快就出来了。

再抄点别人数字人的文案:




每日金句


每周留出一天,不工作,不做生意,不赚钱。 把这一天称为“放空日”(或叫别的名字)。 利用这一天休息、充电、思考人生中最重要的事。 令人意外的是,你将发现过这个放空日是你一周里做的最有成效的事。 ——凯文·凯利


参考链接:

https://mp.weixin.qq.com/s/V-J505589sh0KvYMtw2sCg

关于作者


做一只爬的最久的乌龟,保持学习保持好奇,即使慢一点,遇到一点困难,只要最后能到达终点,又有什么关系呢。
毕竟人生没有白走的路,每一步都算数。



前端程序设计
专注前端最前沿技术,数据可视化,web3d。偶尔插播生活和艺术。
 最新文章