之前的文章中给大家介绍过许多关于通过拖拽实现图像和视频编辑的方法，感兴趣的小伙伴可以点击👇链接阅读和收藏，整理不易，欢迎大家给文章点点赞和在看！
StableDrag：一种基于Diffusion模型的图像编辑，可一键拖拽生成，DragGAN被革新了！
快手发布DragAnything，拖动锚点精准控制视频物体和镜头运动，视频运动控制技术革命性更新
(CVPR2024)DragGAN作者新作DiffMorpher：可以实现两张图像间的平滑变形
ECCV2024，港大&牛津提出基于区域的图像编辑方法RegionDrag！
InstantDrag：仅需图像和拖动指令作为输入，在大约一秒内实现高质量的图像编辑。
今天给大家介绍哈工程联合南大等提出的图像编辑方法FastDrag，该方法不需要LoRA训练，从而显著减少了图像编辑的时间消耗（FastDrag仅需3.12秒完成图像编辑），比DiffEditor快近700%（DiffEditor需要21.68秒完成图像编辑），比经典的基于n步迭代的图像编辑方法（如：DragDiffusion）快2800%（DragDiffusion需要1分21.54秒完成图像编辑）。此外，即使没有使用LCM加速的情况下，所提出的FastDrag方法仍然比目前SOTA的方法快很多。
相关链接
论文链接：https://arxiv.org/abs/2405.15769
项目主页: https://fastdrag-site.github.io/
论文阅读
摘要
使用生成模型的基于拖动的图像编辑可以精确控制图像内容，用户只需单击几下即可操作图像中的任何内容。然而，现行方法通常采用 n 步迭代进行潜在语义优化以实现基于拖动的图像编辑，这非常耗时并且限制了实际应用。
在本文中，我们介绍了一种新颖的基于拖动的一步式图像编辑方法，即 FastDrag，以加速编辑过程。我们方法的核心是潜在扭曲函数 (LWF)，它模拟拉伸材料的行为来调整潜在空间内各个像素的位置。这一创新实现了一步式潜在语义优化，因此显著提高了编辑速度。同时，应用 LWF 后出现的空区域可以通过我们提出的双边最近邻插值 (BNNI) 策略解决。该策略使用来自邻近区域的相似特征对这些区域进行插值，从而增强了语义完整性。
此外，我们还引入了一致性保持策略，通过采用原始图像中的语义信息（在扩散反演期间保存为自注意力模块中的键值对）来指导扩散采样，以保持编辑后图像与原始图像之间的一致性。我们的 FastDrag 在 DragBench 数据集上得到了验证，与现有方法相比，它在处理时间上有了显著的改进，同时实现了增强的编辑性能。
方法
FastDrag 的总体框架包括四个阶段：扩散反演、扩散采样、一步翘曲优化和 BNNI。扩散反演产生噪声潜伏 zt，扩散采样从优化的噪声潜伏 z′t 重建图像。一步翘曲优化用于噪声潜伏优化，其中提出使用 LWF 生成翘曲向量，通过简单的潜伏重定位操作调整噪声潜伏上各个像素的位置。BNNI 用于增强噪声潜伏的语义完整性。引入了一致性保持策略来保持原始图像和编辑图像之间的一致性。
实验
与其他方法比较
与最先进的方法进行定性比较的说明。
与 DragBench 上最先进的方法进行定量比较。这里，较低的 MD 表示更精确的拖拽结果，而较高的 1-LPIPS 则反映生成图像与原始图像之间的相似性更高。时间指标表示基于 RTX 3090 的每个点所需的平均时间。准备表示 LoRA 训练。† 表示没有配备 LCM 的 U-Net 的 FastDrag。
消融实验
结论
本文提出了一种基于拖拽的新型图像编辑方法 FastDrag，该方法比其他现有方法具有更快的图像编辑速度。通过提出一步式变形优化和 BNNI 策略，该方法可以在很短的时间内根据拖拽指令实现高质量的图像编辑。此外，通过一致性保持策略，它确保了生成的图像与原始图像的一致性。
感谢你看到这里，也欢迎点击关注下方公众号并添加公众号小助手加入官方读者交流群，一个有趣有AI的AIGC公众号:关注AI、深度学习、计算机视觉、AIGC、Stable Diffusion、Sora等相关技术，欢迎一起交流学习💗～
