Mochi1:更简单和可商用,ComfyUI内核支持,社区生态推动4张H100到消费级显卡可用

科技   2024-11-13 21:47   浙江  

Mochi1:更简单和可商用,ComfyUI内核支持,社区生态推动4张H100到消费级可用

🌹大家好!欢迎来到破狼公众号。感谢大家的支持与鼓励。在AIGC探索道路上,我将与你一路同行。喜欢就星标关注破狼公众号或文末扫码加入交流群 !本人仅运营公众号平台,未经授权严禁CSDN等其他平台抄袭和转载!

Mochi 1 ComfyUI核心支持简介

在之前的文章中已经介绍过近期发布的最强开源的AI视频生成模型:Mochi 1,这是一个视频生成领域最新创新性里程碑,Apache 2.0开源可商用。它将促进开源视频生产模型朝着专业级视频模型推进,同时也让普通用户可以使用消费级4090显卡上就可以生成高保真度的创作视频。更多详情参考之前文章:[ComfyUI]Mochi:可商用!迄今最大开源视频生成模型,100亿参数&高保真动作&高提示遵循

今天的主题偏重于最新ComfyUI升级内核支持了Mochi 1的体验使用。这进一步的简化了Mochi 1模型的使用成本,和大家日常使用的文生图工作流近似了。ComfyUI 在 v0.2.7 版本中发布中已原生支持 Mochi 模型的运行。同时结合社区Mochi fp8 checkpoint模型,可以大约仅需 12GB VRAM 即可运行。社发展推动下Mochi从刚推出时的4张H100降低到如今消费级显卡也可以体验运行,这得益于开源生态推进

  • • 模型地址:https://huggingface.co/Comfy-Org/mochi_preview_repackaged/tree/main/split_files

  • • 在线体验https://genmo.ai/play

  • • ComfyUI文档:https://comfyanonymous.github.io/ComfyUI_examples/mochi/

更多关于Mochi 1参考文章:
• CogVideo:重磅升级!图生视频完美镜头控制和3D环绕,商用级开源AI视频曙光
• [ComfyUI]MochiEdit:最新视频编辑工具,10分钟内Mochi视频生成加速方案
• [ComfyUI]PyramidFlow:快手开源视频模型,与Mochi比拼谁更强?8G可运行10秒768P与24帧视频生成
• [ComfyUI]Mochi:可商用!迄今最大开源视频生成模型,100亿参数&高保真动作&高提示

Mochi 1 ComfyUI体验

需要更新ComfyUI到最新版本,然后导入工作流和下载对应模型即可。

  • • mochi_preview_bf16.safetensors:下载模型放置于:ComfyUI/models/diffusion_models/ 目录。下载地址:https://huggingface.co/Comfy-Org/mochi_preview_repackaged/resolve/main/split_files/diffusion_models/mochi_preview_bf16.safetensors?download=true

  • • text_encoders/t5xxl_fp16.safetensors:下载模型放置于:ComfyUI/models/text_encoders/ 目录。下载地址:https://huggingface.co/Comfy-Org/mochi_preview_repackaged/resolve/main/split_files/text_encoders/t5xxl_fp16.safetensors?download=true

  • • mochi_vae.safetensors:下载模型放置于:ComfyUI/models/vae/ 目录。下载地址:https://huggingface.co/Comfy-Org/mochi_preview_repackaged/resolve/main/split_files/vae/mochi_vae.safetensors?download=true

  • • 另外如果遇到显存问题,可以选择使用fp8 模型代替 bf16/fp16 模型5xxl_fp8_e4m3fn_scaled.safetensors下载地址:https://huggingface.co/Comfy-Org/mochi_preview_repackaged/resolve/main/split_files/text_encoders/t5xxl_fp8_e4m3fn_scaled.safetensors?download=true 。mochi_preview_fp8_scaled.safetensors下载地址:https://huggingface.co/Comfy-Org/mochi_preview_repackaged/resolve/main/split_files/diffusion_models/mochi_preview_fp8_scaled.safetensors?download=true

Flux文生图工作流

Flux文生图感兴趣的同学可参考LIBLIB在线运行工作流:FLUX[续篇]:12B参数23G最大开源文生图模型,Dev版直出惊艳美图欣赏

本文涉及ComfyUI工作流和模型均可在LIBLIBAI上下载或在线运行体验:
• FLUX.1哩布在线可运行-黑暗森林工作室
https://www.liblib.art/modelinfo/488cd9d58cd4421b9e8000373d7da123
• F.1-绮梦流光-水湄凝香
https://www.liblib.art/modelinfo/134c6dd95aef48e98a22b24e003e026b
• 工作流-Flux文|图生图+LORA+提示反推一键切换工作流
https://www.liblib.art/modelinfo/782aacd70f604da39e83368c696a02a8

另外LIBLIBAI已支持本地客户端使用可首页下载体验。

Mochi 1视频工作流

Mochi 1视频工作流已上传LIBLIB平台

https://www.liblib.art/modelinfo/987eebc84cad4fa79503601bb3f7cadb?versionUuid=53140f5c7b5b4eaebce95ea322fe08dd

注意:ComfyUI原生的VAE解码器过程会很慢,因此这里仍然切换到 ComfyUI-MochiWrapper插件的解码器生成。可以通过EmptyMochiLatentVideo的节点length参数调整视频长度。

01.狐狸

a fox moving quickly in a beautiful winter scenery nature trees sunset tracking camera

02.海燕

Realistic image. Storm on the ocean coast, a large petrel slowly flying in the foreground, huge waves crashing on high coastal rocks, sun rays can be seen through the clouds

03.游泳

Asian woman, a very pretty girl swimming in the pool, having a good time, dancing on the water 

04.海滩

Asian woman,Wide-angle shot of a stunning blonde woman with flowing hair and a curvy figure, running confidently through shallow, clear turquoise water. She’s wearing a sleek black bikini that contrasts with the sparkling sunlight reflecting off the water. Her feet hit the surface, creating dramatic splashes that arc around her legs as she moves forward. Shot in high-resolution 4K on a cinematic camera, capturing her in slow motion, with droplets suspended in mid-air, glistening in the golden sunlight. The warm lighting casts soft shadows on her toned figure, with a vibrant, sunlit color palette that highlights the natural beauty of the scene.
更多推荐文章:
 CogVideo:重磅升级!图生视频完美镜头控制和3D环绕,商用级开源AI视频曙光
• 阿里InContextLoRA:更强ID一致性!基于黑森林F1身份一致性连贯视频分镜图集,10组风格无限创意
• Flux-NewReality:栩栩如生摄影级解禁模型,追求真实细节&风景&神话高品质艺术
• [ComfyUI]InstantIR:来自小红书团队模糊图像修复技术,效果是否惊艳?
• 更像了!5个百分点提升,字节写真换脸PuLID-F1再升级,小红书流量密码
• OmniGen:统一图像生成和多任务集成模型,任意人物自由合影,8位量化体验
• [ComfyUI]Flux:F.1多区域精确控图,无需LORA技术多区域自由构图工具
• [ComfyUI]MochiEdit:最新视频编辑工具,Mochi视频生成加速方案
• [ComfyUI]FaceAging:太好玩啦!仅需几秒看完你或她的一生,从出生到百岁面容
• [ComfyUI]Flux:低显存救星,无限创意!无需部署就能体验最新Joy2|PuLID|LLM等,CF无缝集成

    感兴趣加入[AGI技术交流群]+V

    如果觉得文章不错,就请在看转发三连

破狼
关注AIGC、LLM、绘图作品、软件工程、技术学习。交流+V:shunshizhiwu。
 最新文章