过去,数字人对口型往往存在一个问题,那就是看起来嘴型对上了,但总感觉这个声音不是他发出来的,因为无论数字人说话是不带任何表情的,以至于大家看对口型视频的时候,会有一种割裂感。现在,字节跳动和浙江大学的科研团队联合开发的基于音频驱动的视频扩散模型LOOPY完美解决了这个问题,Loopy可以让对口型视频中的角色在说话或唱歌时,还自动带上该语境下相应的语气,情绪和表情。它可以精准地"指挥"虚拟形象的每一个细微动作,例如叹息等非语音动作、情绪驱动的眉毛和眼睛运动以及自然的头部运动。目前,Loopy数字人技术已经整合到即梦的视频生成模块中。
打开即梦,网址:https://jimeng.jianying.com/ai-tool/home/
进入视频生成
这里上传我们实现准备好的人物正面照片或者视频,最好是人物面部较大的图片,这样效果会比较好。
在对口型这里,我们可以输入文字,选择系统默认的角色对输入的文字进行朗读,也可以上传事先准备好的语音文件(既可以用自己事先准备的录音,也可以用FishAudio进行克隆(操作方法请参考《新一代免费语音克隆神器,不到一分钟克隆任何人的声音》)
生成效果如果选标准模式,则是按旧技术生成的图片说话,人物是没有什么表情的,好处是不会怎么改动提供的原图大小;而生动模式则是加入了Loopy技术,图片中人物表情会根据配音内容驱动,更加丰富,缺点是可能会对提供的人物图片进行一定裁剪。
等待5分钟左右,数字人视频就生成了,从面部表情展现效果来讲,非常的炸裂,和真人的差别已经非常小了。
当然缺点也有,一是生动模式裁剪后变成512*512尺寸,无法还原原图的大小,二是视频有待进一步高清化处理。当然,以现在AI技术的发展,这些问题在半年后应该都不是问题。
当然,要用这种数字人来带货还是不能直接用,需要进行技术处理,可以讲这类人物数字人视频在剪映中合成画中画,上边人物,下面货品;或者做成人物唱歌的视频,上面视频,下面MV+歌词。如果直接带货还是推荐用剪映数字人、蝉境数字人这些商用产品。
最全AI工具,更多AI变现项目,请关注公众号:AI资本家
( End )
关于【AI资本家俱乐部】
小报童【AI资本家俱乐部】是一款知识付费专栏,里面有很多在公众号里没有办法分享的AI及其他互联网变现项目工具的视频教程,也有我从自己高价购买的付费社群搬运过来的爆款项目信息,这个专栏内容是实时更新的,一旦有更新信息,系统会自动在微信中一对一提醒已经订阅过的朋友,在会员期内随时可以查看,也可以复制。
目前第一季同路人计划招募已经结束。
前100名加入的粉丝朋友以48元/年的特惠价格加入到【AI资本家俱乐部】,目前俱乐部价格调整到98元/年,开始我们第二季同路人招募(新增会员200人后,调价至148元/年)。
我已为各位会员朋友开通分享收益,通过您的专属分享海报分享成交后,按照成交金额的40%享受佣金收益(由小报童平台系统自动结算)。
如当前入会价为98元/年,有人通过您的专属海报推荐码加入后,您可以获得39.2元推荐佣金,该推荐金按照小报童平台规则进行结算
大家现在既可以在【AI资本家俱乐部】学习知识,又能够作为自己的副业项目,赚点小钱。
加入后的朋友,可打开置顶帖【站内导航】,快速查找你想了解的内容。
当然有朋友加入后觉得【AI资本家俱乐部】里面写的啥呀!乱七八糟的,你不喜欢也没有关系。【48小时】内可通过系统无条件退款。
往期精选:
01 AI图文工具
不上外网也能免费定制专属小红书爆款文案生成器,别让你的同行看到
02 AI视频工具
这个叫板Midjourney的国内AI绘图网站可以生成视频了!
我就一张照片而已,你们让我说话,让我唱歌,让我跳舞,还要不要人活
让照片说话唱歌的AI神器,配合ChatTTs就可以涨粉搞事情
03 AI音频工具
I服了YOU!用如此简单的AI配音工具,竟然也能赚得盆满钵满
04 AI降本增效实践
两个免费国产AI工具,创造20万价值,不会用AI工具的人真的会被卷死
我用国产免费AI工具简单几步帮减肥中心降本增效,其他行业也可借鉴
05 涨粉变现项目
自动文案,自动配图,自动配音,自动视频生成,这还不是你要的绘本动画生成器?
适合大家做的推文推剧项目来了:免费版权+一手海量带剧资源+AI生成视频工具
分享给大家两个副业变现项目,一个赚大钱,一个赚小钱,你选哪一个?
收益分成比公众号、视频号高的微信风口项目,走过路过,千万不能错过
用国内免费Midjourney平台做猎奇项目,轻松助你涨粉变现
用免费AI工具在小众领域闷声发财,这种副业赚钱方式你还不知道