[ComfyUI]HelloMemeV2:表情迁移神器!直播数字人,更强保真和表情丰富的一致性迁移

科技   2024-12-25 18:27   浙江  

HelloMeme:表情迁移神器!

🌹大家好!欢迎来到破狼公众号。感谢大家的支持与鼓励。在AIGC探索道路上,我将与你一路同行。喜欢就星标关注破狼公众号或文末扫码加入交流群 !

HelloMeme简介

今天介绍一款表情编辑框架:HelloMeme,该框架是由HelloVision和HelloGroup Inc.合作开发的一个基于SD1.5的表情框架项目。目的是在通过集成空间编织注意力(Spatial Knitting Attentions)来将高级别和保真度丰富的条件嵌入扩散模型中,以生成图像和视频。创作具有丰富人物表情的视频。在最新版本HelloMemeV2版本中,改进了生成视频与驱动视频之间的表情一致性,并提高了与第三方模型和LORA的兼容性,并减少了VRAM的使用。

相比于之前介绍的太酷啦!实时人物表情编辑神器,ComfyUI玩转视频表情无限创意具有更高质量的表情一致性。并且与SD1.5的风格化LORA、模型、LCM加速等具有良好的兼容性,具有更好的扩展能力。

演示案例

HelloMeme ComfyUI体验

首先需要安装ComfyUI_HelloMeme ComfyUI插件。
  • • 插件:https://github.com/HelloVision/ComfyUI_HelloMeme
  • • HelloMeme模型:核心主模型会自动下载到本地huggface的.cache目录下,见下列文件夹截图,这里涉及多个项目下载,作者并未完全写明,见issue:https://github.com/HelloVision/ComfyUI_HelloMeme/issues/5#issuecomment-2461247829。模型主页:https://huggingface.co/songkey
  • • SD1.5模型:推荐使用模型有:realisticVisionV60B1_v51VAEdisneyPixarCartoon_v10。模型放置目录ComfyUI/models/checkpoints下。
  • • 如需使用Lora也可放置ComfyUI/models/loras目录下。

Flux文生图工作流

Flux文生图感兴趣的同学可参考LIBLIB在线运行工作流:FLUX[续篇]:12B参数23G最大开源文生图模型,Dev版直出惊艳美图欣赏
本文涉及ComfyUI工作流和模型均可在LIBLIBAI上下载或在线运行体验:

• F.1-绮梦流光-水湄凝香

https://www.liblib.art/modelinfo/134c6dd95aef48e98a22b24e003e026b

• 工作流-Flux文|图生图+LORA+提示反推一键切换工作流

https://www.liblib.art/modelinfo/782aacd70f604da39e83368c696a02a8


HelloMeme表情迁移工作流

HelloMeme表情迁移工作流已上传LIBLIB平台

https://www.liblib.art/modelinfo/da7b544e23a8437a81458336cd787d2d?versionUuid=7476548ab41c452999f26f2f055f30c4

注意

  • • HelloMeme表情迁移不仅支持表情迁移输出图像,还支持输出为视频。
  • • 首次允许需要下载多个相关模型到huggface的.cahce目录,需要稳定可访问huggface。每次视频生成大约需要6分钟左右

01

02

03

更多推荐文章:

• [ComfyUI]腾讯混元视频:强烈推荐!质量增强神器!Enhance-A-Video无性能和内存显著影响,免费视频质量增强
• [ComfyUI]LTX-Video更新:增强视频质量和性能,内置STG和PAG更灵活!最快速高效的开源视频模型
• [ComfyUI]FastVideo:混元官方点赞,6步8倍轻量级加速模型!腾讯混元视频模型一致性蒸馏技术
• 腾讯混元视频:ComfyUI官方原生支持!GGUF量化低显存福音!开源生态高速发展
• [ComfyUI]腾讯混元视频:运动镜头控制!行走动画LORA,最强开源视频可控性里程碑
• [ComfyUI]腾讯混元视频:开源LORA生态来啦!视频人物一致性&运镜可控性里程碑

    感兴趣加入[AGI技术交流群]+V

    如果觉得文章不错,就请在看转发三连

破狼
关注AIGC、LLM、绘图作品、软件工程、技术学习。交流+V:shunshizhiwu。
 最新文章