视觉生成与编辑：使用智能体高效评估T2I和T2V；基于多模态大模型的交互式图片编辑；基于检索增强的图片序列着色
Evaluation Agent: Efficient and Promptable Evaluation Framework for Visual Generative Models
2024-12-10｜Shanghai AI Lab, NTU S-Lab|🔺22
http://arxiv.org/abs/2412.09645v2
https://huggingface.co/papers/2412.09645
https://vchitect.github.io/Evaluation-Agent-project
研究背景与意义
在视觉生成模型领域，近年来的进展显著，尤其是扩散模型的引入使得高质量图像和视频的生成成为可能。这一进步为内容创作、设计灵感等多个应用领域打开了新的大门。然而，现有的评估方法通常需要生成大量样本，这不仅耗费时间，还增加了计算成本。尤其是对于基于扩散的模型，评估过程的复杂性和高昂的计算需求使得研究人员面临诸多挑战。因此，提出一种高效、灵活的评估框架显得尤为重要。
研究方法与创新
本研究提出的评估框架——Evaluation Agent，旨在通过模仿人类评估策略来提升视觉生成模型的评估效率。其主要创新点包括：
动态评估路径：Evaluation Agent根据中间结果动态调整评估流程，能够有效识别模型的细微行为和局限性，从而避免冗余测试。 开放式用户输入：与现有评估框架不同，该框架支持开放式用户输入，允许灵活定制评估标准，满足多样化的用户需求。 可解释性和详细结果：提供超越单一数值评分的可解释性分析，使得评估结果对专家和非专家均易于理解。 可扩展性：该框架支持新评估指标和工具的无缝集成，确保其适应性和成长性。
通过在多个场景下的实验验证，该框架展示了与传统方法相比，显著降低了评估时间，同时保持了评估结果的准确性。
实验设计与结果分析
本研究对Evaluation Agent的有效性进行了多轮实验，涵盖了图像生成（T2I）和视频生成（T2V）任务。实验结果表明：
时间成本显著降低：与传统评估方法相比，Evaluation Agent在评估时间上减少了超过90%。 结果一致性高：在多个维度的评估中，Evaluation Agent的预测准确性与标准基准相当，显示出其在实际应用中的可靠性。
结论与展望
本研究的贡献在于提出了一种全新的评估范式，超越了传统评估框架的局限，提供了一种高效、灵活的评估方法。未来，我们期待通过开源这一框架，进一步推动视觉生成模型评估方法的研究与发展，同时探索其在更广泛应用场景中的潜力。
BrushEdit: All-In-One Image Inpainting and Editing
2024-12-13｜PKU, Tencent PCG, CUHK, THU|🔺19
http://arxiv.org/abs/2412.10316v2
https://huggingface.co/papers/2412.10316
https://liyaowei-stu.github.io/project/BrushEdit/
研究背景与意义
在当前的图像编辑领域，尽管图像生成技术取得了显著进展，但现有的编辑方法仍面临诸多挑战，尤其是在处理大规模修改时。这些方法通常依赖于逆向噪声和指令基础的操作，导致用户在编辑时受到限制。当前的逆向编辑方法在进行大范围的对象添加或删除时表现不佳，而指令基础的方法又常常将用户限制在黑箱操作中，无法有效地进行交互式编辑。因此，本文提出的BrushEdit框架旨在解决这些问题，提供一种更为灵活和高效的交互式图像编辑体验。
研究方法与创新
BrushEdit结合了多模态大语言模型（MLLMs）和双分支图像修复模型，形成了一种新的指令驱动的图像编辑框架。该框架通过以下四个步骤实现编辑：
编辑类别分类：确定所需的编辑类型。 主要编辑对象识别：识别需要编辑的主要对象。 编辑掩模和目标描述生成：生成编辑掩模及其对应的目标描述。 图像修复：执行实际的图像编辑操作。
BrushEdit的创新点在于其能够处理任意形状的掩模，避免了传统方法中因掩模形状不同而造成的性能下降。此外，BrushEdit通过集成现有的预训练多模态大语言模型，显著提高了语言理解和可控图像生成的能力，使得用户能够通过自然语言指令进行灵活的交互式编辑。
实验设计与结果分析
在实验设计中，BrushEdit通过在多个基准测试上进行评估，展示了其在图像编辑和修复任务中的优越性能。具体而言，实验采用了PIE-Bench和BrushBench等数据集，覆盖了各种编辑类型和场景。结果显示，BrushEdit在背景保真度和文本对齐方面均优于现有的主流方法，如Blended Latent Diffusion和ControlNet，尤其在处理复杂编辑任务时表现出色。
结论与展望
BrushEdit的研究成果表明，结合多模态大语言模型与图像修复技术，可以有效提升图像编辑的质量和效率。未来的研究可以进一步探索如何优化模型的实时响应能力以及扩展其在其他领域的应用，如视频编辑和三维图像处理。此外，随着用户需求的多样化，如何实现更为智能化和个性化的编辑体验将是一个重要的研究方向。
ColorFlow: Retrieval-Augmented Image Sequence Colorization
2024-12-16｜THU, Tencent PCG - ARC Lab|🔺18
http://arxiv.org/abs/2412.11815v1
https://huggingface.co/papers/2412.11815
https://zhuang2002.github.io/ColorFlow/
研究背景与意义
在当前的数字图像处理领域，图像着色技术正逐渐成为一个重要的研究方向，尤其是在漫画和动画制作中。随着生成对抗网络（GANs）和变分自编码器（VAEs）的发展，虽然已有的技术在某些应用中表现出色，但在图像序列的颜色一致性和控制性方面仍存在显著挑战。传统方法往往依赖于单一图像进行着色，忽略了图像序列中角色和物体的身份一致性，这在实际工业应用中显得不够理想。因此，提出一种新的基于参考图像序列的着色方法显得尤为重要。
本论文提出了ColorFlow，一个创新的三阶段框架，旨在解决图像序列着色中的身份一致性问题。该方法的核心在于利用参考图像池中的信息，确保生成的颜色与参考图像保持一致，同时实现高效的图像着色。这一研究不仅具有理论上的创新性，也在实际应用中满足了市场对高质量图像着色的迫切需求。
研究方法与创新
ColorFlow的创新点体现在其三阶段的处理流程中：
检索增强管道（RAP）：该阶段负责从参考图像池中提取与输入黑白图像相关的颜色信息。通过将输入图像划分为多个重叠的小块，并利用预训练的CLIP图像编码器生成图像嵌入，RAP能够有效识别与输入图像最相似的颜色块，确保颜色信息的准确性和一致性。
上下文着色管道（ICP）：这一阶段通过强大的上下文学习机制，将检索到的颜色信息应用于黑白图像的着色过程中。采用双分支设计，ICP不仅能提取颜色身份，还能进行精确的着色，确保生成图像的高质量和一致性。
引导超分辨率管道（GSRP）：在着色完成后，GSRP负责将低分辨率的颜色图像提升至高分辨率，减少由于下采样带来的结构失真。通过结合原始高分辨率图像，GSRP确保了最终输出图像的细节和质量。
ColorFlow的优势在于其能够在不需要针对每个身份进行微调的情况下，实现稳健且可泛化的着色效果。这一方法不仅提升了图像着色的质量，还为工业应用提供了新的解决方案。
实验设计与结果分析
在实验设计方面，ColorFlow通过构建ColorFlow-Bench，一个包含30个漫画章节的综合基准，进行系统评估。每个章节包含50个黑白漫画页面和40个参考图像，确保了评估的全面性和有效性。实验结果表明，ColorFlow在多项评估指标上均优于现有的主流模型，尤其是在像素级和图像级的评估中，ColorFlow显著提高了FID指标，且在用户研究中得分最高，证明了其在美学质量和颜色一致性方面的优势。
结论与展望
ColorFlow的提出为参考基于图像序列的着色任务开辟了新的研究方向。通过三阶段的框架设计，ColorFlow不仅解决了现有技术在身份一致性和颜色控制方面的不足，还展示了在实际应用中的广泛潜力。未来的工作将集中在进一步优化模型的效率和泛化能力，并探索其在其他领域（如视频着色和实时应用）中的应用可能性。
