字节跳动开源SeedEdit:「用嘴PS」成为现实!

旅行   2024-11-22 00:02   北京  

一句话就能PS,图片编辑迎来革命性突破!

这款名为SeedEdit的工具,只需要用简单的文字描述,就能精准修改图片中的任何元素,从文字到背景,从风格到光线,统统都不在话下。

这个工具是如何做到的?

SeedEdit采用了一种革命性的方法,将图像编辑看作是一个「平衡游戏」:

一边要保持原始图像的内容,一边又要创造新的元素

通过一个「渐进对齐框架」,SeedEdit巧妙地把文本到图像的模型转变成了精确的图像编辑器。这就像是给AI装上了一双「巧手」,既能保护原图的精髓,又能精准添加新的内容。

但真正厉害的是它解决了数据短缺的问题。

SeedEdit团队使用了一个聪明的办法:把文本到图像的模型当作「弱编辑器」,通过多轮数据生成和模型微调,不断提升编辑效果,直到达到最佳状态。

性能表现更是亮眼!

在HQ-Edit基准测试中,SeedEdit交出了一份漂亮的成绩单:

  • GPT评分达到78.54分

  • CLIP方向性得分0.1766

  • CLIP图像相似度得分0.8524

这意味着什么?

意味着SeedEdit不仅能准确理解用户的编辑需求,还能最大程度保留原图的细节!

技术创新是关键。

SeedEdit引入了因果自注意力结构,让两个网络分支能通过中间特征进行「对话」。同时,它还巧妙地重复使用自注意力来处理图像,而不是增加额外的输入通道,这让几何编辑任务变得更加准确。

最令人兴奋的是,这个强大的工具现在已经在Hugging Face上开源,任何人都可以免费使用!见:

https://huggingface.co/spaces/ByteDance/SeedEdit-APP

未来,也许我们再也不需要学习复杂的PS操作,只需要告诉AI「我想要什么」,它就能帮我们完成所有编辑工作。

图像编辑的未来,真的来了。

👇

👇

👇

👇

本文同步自知识星球《AGI Hunt》

星球实时采集和监控推特、油管、discord、电报等平台的热点AI 内容,并基于数个资讯处理的 AI agent 挑选、审核、翻译、总结到星球中。

  • 每天约监控6000 条消息,可节省约800+ 小时的阅读成本;

  • 每天挖掘出10+ 热门的/新的 github 开源 AI 项目;

  • 每天转译、点评 10+ 热门 arxiv AI 前沿论文。

星球非免费。定价99元/年,0.27元/天。(每+100人,+20元。元老福利~)

  • 一是运行有成本,我希望它能自我闭环,这样才能长期稳定运转;

  • 二是对人的挑选,鱼龙混杂不是我想要的,希望找到关注和热爱 AI 的人。

欢迎你的加入!

AGI Hunt
关注AGI 的沿途风景!
 最新文章