高效模型与移动设备优化：多模态模型增强多参考图像生成；高效T2I，移动设备高分辨率图像生成
EasyRef: Omni-Generalized Group Image Reference for Diffusion Models via Multimodal LLM
2024-12-12｜CUHK, SenseTime Research, Shanghai AI Lab|🔺20
http://arxiv.org/abs/2412.09618v1
https://huggingface.co/papers/2412.09618
https://easyref-gen.github.io/
研究背景与意义
在当今的图像生成领域，个性化与一致性是两个至关重要的研究方向。随着扩散模型的快速发展，如何在生成过程中有效利用多个参考图像以保持视觉元素的一致性成为了一个亟待解决的问题。传统的方法往往采用单一图像或简单的嵌入平均，这种方法无法充分捕捉多图像间的相互关系，导致生成结果的视觉一致性不足。EasyRef的提出正是为了填补这一空白，通过引入多模态大型语言模型（MLLM），使得扩散模型能够在多个参考图像和文本提示的共同作用下生成高质量的图像。
研究方法与创新
EasyRef的核心创新在于其独特的适配机制，能够将多个参考图像与文本提示有效结合。具体而言，该方法通过以下几个关键步骤实现：
多图像理解：利用MLLM的多图像理解能力，EasyRef能够对多个输入图像进行综合分析，提取出一致的视觉元素。 高效的参考聚合策略：与传统的简单平均方法不同，EasyRef采用了一种高效的参考聚合策略，将多个图像的特征有效整合，减少了计算成本并提升了细节保留能力。 渐进式训练方案：该方案通过逐步优化模型的视觉感知能力，使模型在处理复杂的多图像输入时，能够保持高水平的生成质量。
通过这些创新，EasyRef显著提升了生成图像的美学质量和一致性，尤其在多参考图像的场景中表现出色。
实验设计与结果分析
在实验设计上，EasyRef使用了一个新的多参考图像生成基准（MRBench），该基准包含了大量的图像-文本对，以便全面评估模型的性能。实验结果显示，EasyRef在多个指标上均超越了传统的调优方法，如LoRA和IP-Adapter，尤其在视觉一致性和细节保留方面表现尤为突出。
统计显著性：通过对比基准测试，EasyRef在CLIP-I、DINO-I等指标上均有显著提升，证明其在生成质量上的优势。 多场景表现：在不同的图像生成任务中，EasyRef展现了强大的适应能力，能够在各种复杂场景下生成一致且高质量的图像。
结论与展望
EasyRef的研究为扩散模型在多参考图像生成中的应用提供了新的视角和方法。其独特的适配机制和高效的训练方案，不仅提升了生成图像的质量，也为未来的研究指明了方向。展望未来，EasyRef有望在更广泛的应用场景中发挥作用，如艺术创作、个性化设计等领域，同时也为进一步的模型优化和算法创新提供了基础。
SnapGen: Taming High-Resolution Text-to-Image Models for Mobile Devices with Efficient Architectures and Training
2024-12-12｜Snap Inc., U Melbourne, HKUST, MBZUAI|🔺19
http://arxiv.org/abs/2412.09619v1
https://huggingface.co/papers/2412.09619
https://snap-research.github.io/snapgen
研究背景与意义
在当前的文本到图像（T2I）生成领域，现有的扩散模型虽然在生成质量上取得了显著的进展，但仍然面临着一些关键挑战，如模型庞大、运行速度慢以及在移动设备上的低效能。这些问题限制了它们在实际应用中的广泛使用，尤其是在需要快速响应和高效能的场景下。因此，开发一种小型且高效的T2I模型，以在移动平台上实现高分辨率和高质量图像生成，具有重要的研究意义和应用价值。
本论文提出了一种名为SnapGen的新型T2I模型，旨在解决上述挑战。其核心目标是通过优化模型架构和训练技术，显著减少模型大小和计算复杂度，同时保持高质量的图像生成。这一研究不仅为移动设备上的图像生成提供了新的解决方案，也为相关领域的研究提供了新的思路。
研究方法与创新
本研究的创新点主要体现在以下几个方面：
高效网络架构设计：通过对现有网络架构的系统性分析，提出了一种新的模型架构，显著减少了参数数量和延迟，同时确保了生成质量。具体来说，采用了更轻量级的UNet结构，并通过去除冗余的自注意力层，优化了计算效率。
改进的训练技术：引入了一系列新的训练方法，包括流匹配作为目标，促进大模型知识的有效转移。此外，采用多级知识蒸馏策略，结合时间步长感知的损失缩放，提升了模型在不同训练阶段的表现。
快速生成能力：本模型首次实现了在移动设备上以约1.4秒的速度生成1024x1024像素的图像，展现出优越的生成速度和质量。通过对比实验，SnapGen在多个基准测试中表现出色，超越了许多现有的大规模模型。
实验设计与结果分析
为验证SnapGen的有效性，研究团队进行了多项实验，主要包括：
模型性能评估：在ImageNet-1K数据集上进行类条件图像生成任务，SnapGen以372M参数的规模，达到了与现有大型模型相媲美的FID分数（2.06），且模型体积显著减小（比SiT-XL小45%）。
生成质量对比：通过与多种现有模型的对比，SnapGen在生成质量和速度上均表现优异，特别是在图像文本对齐和美学质量方面，用户研究显示其生成的图像在各项指标上超越了SDXL和SD3等模型。
多场景表现：在不同的生成场景中，SnapGen展现了稳定的生成能力，且在少量的生成步骤下仍能保持较高的质量，这一特性极大地提升了其在实际应用中的适用性。
结论与展望
本研究提出的SnapGen模型不仅在移动设备上实现了高分辨率图像生成的突破，也为T2I领域的研究提供了新的视角。通过系统性的架构设计和创新的训练技术，SnapGen在性能和效率上都取得了显著的提升。未来，研究团队计划进一步优化模型，探索更复杂的生成任务，并将其应用于更广泛的领域，例如虚拟现实和增强现实等。此外，随着移动设备计算能力的不断提升，SnapGen的应用前景将更加广阔。
