[ComfyUI]SD3.5:ControlNet重磅发布!激烈竞争能否夺回黑森林Flux高地?

科技   2024-11-27 09:28   浙江  

SD3.5:ControlNet来袭

🌹大家好!欢迎来到破狼公众号。感谢大家的支持与鼓励。在AIGC探索道路上,我将与你一路同行。喜欢就星标关注破狼公众号或文末扫码加入交流群 !

Stable Diffusion 3.5 Large ControlNet模型简介

今天Stability AI如约按照之前Stable Diffusion 3.5 Large模型发布时候的承诺,在SD3.5发布不到1个月时间再次发布了SD3.5 Large模型的ControlNet模型。同时当前ComfyUI也增加了对新的Stable Diffusion 3.5 Large ControlNet模型的支持。本次发布ControlNet模型共有3款,分别为:BlurCannyDepth。这3款模型都是各自拥有80亿参数,并且遵循宽松的Stability AI社区许可证,这些模型是可以在商业和非商业用途下免费使用。另外,官方也提到,Stable Diffusion 3.5 Medium (2B)变体和新的控制类型在内的额外ControlNet模型也即将推出!

  • • Blur模型:能够实现极高保真度的放大,包括8K和16K分辨率,非常适合将低分辨率图像平铺成大型详细视觉效果。

  • • Canny模型:利用Canny线稿边缘图来构建生成的图像结构,这种控制类型特别适合插画、建筑等场景,并且可以适应所有风格。

  • • Depth模型:使用DepthFM生成的深度图来引导图像生成,非常适合纹理3D主体等需要精确控制图像构图的场景。

题外话,在本次SD3.5 Large模型的ControlNet模型是在黑森林团队发布Flux ControlNet模型不到一周时间发布了SD3.5的ControlNet模型。在文生图的领域两家领头开源产厂商开始卷起来,SD3.5也在费力追赶当前Flux模型几乎占领文生图开源社区的局面。只有当lux模型具有较大的挑战,Flux1.1-Dev或其他更好的变体模型开源发布。

SD3.5 Large ControlNet模型 ComfyUI体验

首先需要更新最新的ComfyUI本体到最新版本,在最新ComfyUI中已原生支持了SD3.5 Large ControlNet模型。另外还需要下载额外的ControlNet模型(模型文末可获取)。

  • • all-in-one SD3.5 large模型:下载SD3.5模型并放置到ComfyUI/models/checkpoints目录下,下载地址:https://huggingface.co/Comfy-Org/stable-diffusion-3.5-fp8/resolve/main/sd3.5_large_fp8_scaled.safetensors

  • • SD3.5 Large ControlNet模型:下载SD3.5ControlNet模型并放置到ComfyUI/models/controlnet目录下。下载地址:https://huggingface.co/stabilityai/stable-diffusion-3.5-controlnets/tree/main

SD3.5文生图工作流

LIBLIB平台已在线支持SD3.5在线工作流体验,笔者上传了支持Joy1反推+SD3.5工作流地址:https://www.liblib.art/modelinfo/fb42d5cdd58644a2b28e86e2cfd28ac0?versionUuid=1189e755690f41dc933861cc9bc0c824

另外LIBLIBAI已支持本地客户端使用可首页(https://www.liblib.art)下载体验。

SD3.5 Large ControlNet模型工作流

SD3.5 Large ControlNet模型工作流已上传LIBLIB平台

https://www.liblib.art/modelinfo/cd31edb7208d4af8a8d0f681c4c29954?versionUuid=1a5eb0ccac2443098f26b8acd9a02af1

01. Blur高清-小黄鸭

高清质量表现很不错。

This is a digital photograph capturing a whimsical scene of a yellow rubber duck riding a wave. The duck, positioned centrally in the image, appears to be surfing the crest of a greenish-blue wave. The background features a stunning sunset with hues of orange, pink, and purple blending into the sky. The water reflects the warm colors of the sunset, adding to the serene and playful atmosphere. The overall effect is both surreal and heartwarming, blending the innocence of a toy with the grandeur of nature.

原图

blur:1024*1024

02.Canny线稿-建筑

Oriental architectural design,townhouses,80's houses,lawns,green trees

03.Canny线稿-线稿上色

cute anime girl , red long hair blue eyes wearing a blue sweater, Indoors

04.Canny线稿-写实

This is a CGI image of a majestic Bengal tiger with a striking, realistic texture. The tiger is mid-flight, wings spread wide, showcasing detailed feathers in shades of brown and black. Its fur is vivid orange with black stripes, and its piercing blue eyes are focused forward. The background features a dense, misty forest with tall, blurred trees, creating a sense of depth and motion. The overall composition combines elements of fantasy and realism, highlighting the tiger's grace and power.

05.Depth深度-人物

SD3.5的肢体处理仍然是老问题。

1girl , Asian woman, blonde long hair blue eyes wearing a pink sweater, Indoors, sit on the edge of the bed

网盘模型获取:关注公众号口令【SD3.5-Model】获取。

更多推荐文章:

• Lumiere:细节真实!专注更真实保持无损原生提示遵循和构图模型

• Flux-NewReality:栩栩如生摄影级解禁模型,追求真实细节&风景&神话高品质艺术

• FLUX.1-Tools:黑森林官方重磅出手构建F1完善生态,补齐CN&IPA!

• 智谱CogVideoX1.5:重大升级,可商用开源模型!10秒&增强质量&任意分辨率

• [ComfyUI]Flux:Lovely网红写真,极致细节写实,小红书网红人物写真风格

• OmniGen:统一图像生成和多任务集成模型,任意人物自由合影,8位量化体验

 15秒F.1D直出,极限无损加速方案,环境大升级敢不敢来试?

 CogVideo:重磅升级!图生视频完美镜头控制和3D环绕,商用级开源AI视频曙光

感兴趣加入[AGI技术交流群]+V

    如果觉得文章不错,就请在看转发三连

破狼
关注AIGC、LLM、绘图作品、软件工程、技术学习。交流+V:shunshizhiwu。
 最新文章