创业项目13: TANGO的落地,上传克隆声音和动作视频生成视频数字人的漂亮界面

职场   2024-11-14 15:30   北京  

上次写了一篇关于《TANGO :开源的Heygen?支持面部、唇形同步和肢体运动视频》的介绍文章,本来就是想记录一下这个开源模型的,后来看到一家做数字人的公司写的文案比较好,就在这篇文章下面用截图的方式把它的文案抄了一下并附有原文链接的,结果遭到了写文章以来最大的惩罚,首先是被举报,然后被微信公众号踢出了流量池,本来粉丝数都是每天上百的速度增长,突然间就开始每天减粉了。而且在评论下方还继续被举报,实在有些可怕。 我想说的是真正伟大的公司从不怕别人抄袭,啥都怕的反而走不了多远。 何况我就自己一个人瞎折腾。


言归正传,TANGO这个模型还是很不错的。只需要提供几十秒的肢体运动视频,就可以无限生成匹配对应音频的全身视频。再搭配上一些唇形同步开源项目比如快手的LivePortrait,完美复刻HeyGen不在话下。
开源地址
https://github.com/CyberAgentAILab/TANGO

Sync
有了好的底层模型,还需要一个漂亮的UI界面。正好今天就看到一款非常不错的基于TANGO实现的应用:sync。
官网地址:(https://platform.sync.so/)
1. 登录后,可以直接看到选案例视频或者自己录制一段视频。
2. 录制或选择声音
3. 调皮的文案
4. 开始制作
5. 看到嘴形同步,它提供了4种方案,最新出来的1.8版本效果最好,生成效果最忙。
生成效果对比:
6.  提供接口访问方式:
7. 调整视频参数
8. 集成了elevenlabs的多种声音
试用效果:

总结


这个工具无论是嘴形效果、清晰度、时长、UI设计上都是感觉很棒的。等我明年把我整理的这些创业项目一一复刻出来吧。


关于作者
做一只爬的最久的乌龟,保持学习保持好奇,即使慢一点,遇到一点困难,只要最后能到达终点,又有什么关系呢。
毕竟人生没有白走的路,每一步都算数。

加入知识星球可添加作者微信随时沟通。



前端程序设计
专注前端最前沿技术,数据可视化,web3d。偶尔插播生活和艺术。
 最新文章