11 月 11 日，字节在豆包大模型团队官网上公布最新通用图像编辑模型 SeedEdit。据悉，SeedEdit 支持一句话轻松改图，包括修图、换装、美化、转化风格、在指定区域添加删除元素等各类编辑操作，通过简单的自然语言即可驱动模型编辑任意图像。目前，该模型已经在豆包 PC 端及即梦网页端开启测试。
用户可以在豆包生成图片后，点击继续编辑按钮，输入简单的文本指令对图片背景或主体进行轻松调整，实现一句话改图。例如，用户在生成一张“小狗在草地奔跑”的图片后，可以直接输入“背景换成海边”等指令，获得一张基于原图片的微调图。此外，用户也可以尝试在豆包 PC 或即梦的图像生成功能中自行上传参考图并进行二次加工。
据悉，SeedEdit 是国内首个实现产品化的通用图像编辑模型。过往，学术界在文生图和图生图领域已有较多研究，但做好生成图片的指令编辑一直是难题，二次修改很难保证稳定性和生成质量。今年以来，Dalle3、Midjourney 接连推出产品化的生图编辑功能，相较业界此前方案，编辑生成图片的质量大大改善，但仍缺乏对用户编辑指令的精准响应和原图信息保持能力。
字节跳动豆包大模型团队表示，图像编辑任务的关键在于取得“维持原始图像”和“生成新图像”之间的最优平衡，这一理念贯穿了整个模型的设计与优化过程。
据介绍，在模型数据生产中， SeedEdit 针对数据稀缺问题，重新设计模型架构，并且采用多模型、多尺度和多标准的数据制造方案很大程度上解决了数据量，数据多样性和数据质量的问题。作为一款专为图像编辑任务设计的模型，SeedEdit 在通用性、可控性、高质量等方面取得了一定突破。
此前业界技术主要针对单个专家任务进行优化，比如针对表情、发型、背景的删除或替换，或专门配置工作流进行风格调配，每次出现新的编辑任务均需收集对应数据进行训练开发。而 SeedEdit 作为通用的图像编辑模型，适用各类编辑任务，支持用户脑洞大开的奇思妙想，无需再训练微调即可快捷应用。它与业界同类方法对比 (如 EMU Edit 和 Ultra Edit)，取得显著更优的性能指标。
HQ-Edit 等基准测评显示：SeedEdit 能理解相对模糊的指令，且执行细致编辑时具有更高的图像保持率和成功率
即便在常规任务中，相比专家模型，SeedEdit 也有一定优势。比如，在“抠图”换背景等用户最常用到的图像分割任务中，SeedEdit 编辑生成后的图像风格自然，无“贴图感”；在局部涂抹、编辑、添加和删除元素等任务中，相比手动涂抹编辑， SeedEdit 通过语言指定， 大大节省了用户涂抹的时间，尤其针对裂纹、发丝等相对精细的涂抹区域。
要求图片将草莓替换成柠檬
同时，SeedEdit 通过创新的模型架构，多尺度、多规则的数据获取、构造和过滤方案，能更好地理解用户意图并对齐 diffusion 生图模型，极大提高了图像编辑的精准度，并保持了高质量的图片生成效果。
要求去掉裂纹，让图片变干净
基于豆包文生图大模型，目前 SeedEdit 支持中文和英文输入，还可以对中文成语和专有名词进行精准响应。下一步，SeedEdit 还将开放多轮复杂编辑的功能。
豆包大模型团队表示，现阶段 SeedEdit 对模型生成图片的编辑效果要好于输入真实图片，同时在更复杂和更精细的控制上仍有改进空间。未来，SeedEdit 会在真实图片保真、ID 保持、编辑精确性、以及长时序的故事类、漫画类生成方面做进一步的优化和探索，提升编辑可用率和用户体验，支持用户更高效地创作有趣的内容。
就在 12 月 13 日 -14 日，AICon 将汇聚 70+ 位 AI 及技术领域的专家，深入探讨大模型与推理、AI Agent、多模态、具身智能等前沿话题。此外，还有丰富的圆桌论坛、以及展区活动，满足你对大模型实践的好奇与想象。现在正值 8 折倒计时，名额有限，快扫码咨询了解详情，别错过这次绝佳的学习与交流机会！
