生成模型与多模态创新：对抗性扩散后训练，单步视频生成；视频区域级理解，潜在区域标记；开放数据训练高性能文生图，一维视觉token；使用SVD进行图片交互式编辑
Diffusion Adversarial Post-Training for One-Step Video Generation
2025-01-14｜ByteDance|🔺21
http://arxiv.org/abs/2501.08316v1
https://huggingface.co/papers/2501.08316
https://seaweed-apt.com
研究背景与意义
在视频生成领域，现有的扩散模型虽然在图像生成方面取得了显著的成功，但其迭代生成过程仍然较慢且计算成本高。当前的研究主要集中在通过蒸馏方法来提高生成效率，但这些方法在生成质量上往往存在显著的下降。本文提出的对抗后训练（Adversarial Post-Training, APT）方法，旨在通过直接在真实数据上进行对抗训练，以提升生成模型的稳定性和质量。APT不仅能够在一次前向推理中生成高分辨率的视频，还能在视觉真实感、结构完整性等方面超越现有的最先进方法。
研究方法与创新
方法概述：
采用预训练的扩散模型作为初始化，通过对抗训练进行微调，直接在真实数据上进行优化，而非依赖蒸馏教师生成目标。
关键创新：
设计了多个关键组件以稳定训练过程，包括改进的鉴别器结构和近似的R1正则化。这些设计能够有效防止训练崩溃，确保生成的图像和视频在细节和质量上达到新的高度。
优势比较：
与传统的蒸馏方法相比，APT能够在生成质量上显著提高，尤其是在细节和真实感方面，展现了超越蒸馏教师模型的能力。
实验设计与结果分析
实验设置：
在多个场景下进行视频生成实验，评估生成模型在不同条件下的表现，包括高分辨率（1280×720）和24fps的视频生成。
结果分析：
实验结果表明，APT模型在视觉保真度和细节表现上均优于现有的一步图像生成方法。尽管在结构完整性和文本对齐方面存在一定的局限，但整体生成效果仍然显著优于传统方法。
统计显著性：
通过用户研究和定量评估，APT模型在多个评估标准上均表现出显著的提升，尤其是在视觉质量和结构完整性方面。
结论与展望
本文提出的APT方法为实现高质量的视频生成开辟了新的方向，尽管当前方法在结构完整性和文本对齐上仍存在不足，但其在生成效率和视觉质量上的优势为未来的研究提供了重要的参考。未来的工作将集中在进一步优化模型结构、提高文本对齐能力以及探索更高效的训练策略上，以推动视频生成技术的进步。
Omni-RGPT: Unifying Image and Video Region-level Understanding via Token Marks
2025-01-14｜NVIDIA, Yonsei U|🔺17
http://arxiv.org/abs/2501.08326v1
https://huggingface.co/papers/2501.08326
https://miranheo.github.io/omni-rgpt/
研究背景与意义
在多模态大语言模型（MLLMs）快速发展的背景下，图像和视频的区域级理解成为了一个重要的研究领域。现有方法在全局视觉理解方面取得了一定进展，但在区域级理解上仍然面临挑战。尤其是在交互式设置中，精确解释局部视觉细节至关重要。本文提出的Omni-RGPT，旨在通过引入Token Mark这一新颖的区域表示方法，解决这一问题。Token Mark作为一组标记，能够在空间和时间维度上提供一致的区域表示，促进图像和视频输入的区域级理解。
研究方法与创新
Omni-RGPT的核心创新在于Token Mark的引入。与传统方法不同，Token Mark并不是从视觉特征中生成的，而是预定义的一组标记，用于识别潜在的区域。这种方法有效解决了两个关键挑战：
可扩展性：通过为每个目标提供独特的表示，输入文本标记的数量与帧数无关，从而避免了传统方法在处理视频时的规模限制。
时间漂移：Token Mark确保在视频的不同帧中保持一致的目标引用，解决了因目标外观变化而引起的表示不一致问题。
此外，文中还提出了Temporal Region Guide Head，这是一个专门为视频输入设计的辅助头，旨在提高区域理解的稳健性，而无需依赖复杂的追踪方法。这一方法通过分类每个视觉标记，确保在不同帧中对目标区域的一致理解。
实验设计与结果分析
在实验设计中，Omni-RGPT在多个区域级理解任务上进行了评估，包括视觉常识推理、视频字幕生成和区域表达理解等。实验结果表明，Omni-RGPT在这些任务上均表现出色，尤其是在Causal-VidQA基准测试中，显示出显著的性能提升。此外，研究还引入了RegVID-300k数据集，提供了丰富的视频指令数据，进一步增强了模型的能力。
视觉常识推理：在VCR基准测试中，Omni-RGPT的表现超越了许多现有方法，尤其是在需要同时选择答案和理由的任务中。
视频字幕生成：在区域级视频字幕生成任务中，Omni-RGPT通过引入详细的区域级描述，显著提高了生成字幕的质量。
区域表达理解：在区域表达理解任务中，模型展现了强大的能力，能够准确理解和生成与视觉内容相关的语言描述。
结论与展望
Omni-RGPT通过引入Token Mark和Temporal Region Guide Head，成功实现了图像和视频的区域级理解，克服了传统方法在时间一致性和空间扩展性方面的不足。未来的研究可以进一步探索如何将这一方法扩展到更复杂的场景中，以及如何在长视频输入中保持高效的区域理解能力。此外，随着多模态学习的不断进步，Omni-RGPT的架构也有潜力在其他领域得到应用，如机器人视觉和自动驾驶等。
Democratizing Text-to-Image Masked Generative Models with Compact Text-Aware One-Dimensional Tokens
2025-01-13｜ByteDance Seed, POSTECH|🔺12
http://arxiv.org/abs/2501.07730v1
https://huggingface.co/papers/2501.07730
https://tacju.github.io/projects/maskgen.html
研究背景与意义
在当今的人工智能研究领域，文本到图像生成（Text-to-Image Generation）技术正迅速发展，尤其是在生成模型的有效性和可访问性方面。传统的生成模型通常依赖于大规模的高质量私有数据集，这导致了复制和再现研究成果的难度加大。该论文通过引入一种新的文本感知一维标记器（TA-TiTok）和相应的生成模型（MaskGen），旨在解决这一问题。研究的核心问题在于：如何在仅使用开放数据的情况下，开发出高效且有效的文本到图像生成模型，从而实现更广泛的研究可及性。
研究方法与创新
论文中提出的TA-TiTok是一种基于Transformer的一维标记器，具有多项创新：
高效的一阶段训练流程：相较于传统的复杂两阶段训练流程，TA-TiTok采用了一种简化的一阶段训练方法，大幅提升了训练效率。 支持离散和连续标记：该模型扩展了现有的离散标记方法，允许使用连续VAE表示，从而提高了图像重构的质量，避免了量化损失。 文本信息整合：在去标记阶段，TA-TiTok通过与文本嵌入的结合，增强了图像与文本描述之间的语义对齐。这种方法有效提高了生成图像的质量，使其更好地反映文本输入的意图。
通过这些创新，MaskGen模型展示了在多个基准测试中与使用私有数据训练的模型相当的性能，同时显著降低了训练和推理成本。
实验设计与结果分析
在实验设计中，研究者使用了多种开放数据集进行训练和评估，确保模型的可重复性和结果的可靠性。实验结果表明，MaskGen在MJHQ-30K数据集上取得了显著的FID分数，远超现有的多种文本到图像生成模型。这一结果不仅展示了模型的生成能力，也证明了其在资源有限的情况下的高效性。此外，MaskGen在生成速度上也表现出色，提供了比传统模型更快的推理速度。
结论与展望
本研究的主要贡献在于提出了一种高效且可扩展的文本到图像生成模型，推动了该领域的开放性和可及性。尽管MaskGen在生成质量和效率上表现优异，但仍存在一些局限性，例如对高分辨率输出的支持不足。未来的工作将集中在优化收敛速度、模型扩展性以及高分辨率图像生成能力的提升上。研究团队计划发布训练代码和模型权重，以促进后续研究的开展。
FramePainter: Endowing Interactive Image Editing with Video Diffusion Priors
2025-01-14｜HIT, Huawei Noah’s Ark Lab|🔺12
http://arxiv.org/abs/2501.08225v1
https://huggingface.co/papers/2501.08225
https://github.com/YBYBZhang/FramePainter
研究背景与意义
在当今图像编辑领域，用户对交互式图像编辑的需求日益增加。传统的图像编辑方法往往依赖于复杂的语言指令和大量的训练数据，这限制了其灵活性和实用性。现有技术在处理动态场景时常常表现不佳，尤其是在物体运动和姿态变化方面。因此，研究者们亟需一种新方法，能够在较少的训练样本下实现高效、直观的图像编辑。本文提出的FramePainter正是针对这一问题，通过将交互式图像编辑重新框架为图像到视频生成任务，利用强大的视频扩散先验，显著降低了训练成本并提升了编辑效果。
研究方法与创新
FramePainter的核心创新在于其将交互式图像编辑转化为图像到视频生成的任务。具体而言，FramePainter通过结合稳定视频扩散模型（Stable Video Diffusion）和轻量级稀疏控制编码器，能够有效地将编辑信号注入到目标图像特征中，从而实现灵活的图像编辑。为了解决传统方法在大运动情况下的局限性，FramePainter引入了匹配注意力机制，确保编辑图像与源图像之间的密切对应。这种方法不仅提高了视觉一致性，还显著增强了模型对未见场景的适应能力，能够处理如将小丑鱼转变为鲨鱼形状等复杂任务。
图像到视频生成：FramePainter通过将源图像视为视频生成的第一帧，利用编辑信号指导生成过程，确保生成的图像与用户的意图高度一致。 匹配注意力机制：该机制增强了模型在处理大运动时的表现，通过扩展接收域，确保编辑图像与源图像之间的密切对应，提升了编辑的精细程度。 数据效率：与现有方法相比，FramePainter在使用更少的训练样本的情况下，仍然能够实现更好的编辑效果，展示了其在数据效率上的优势。
实验设计与结果分析
为了验证FramePainter的有效性，研究团队设计了一系列实验，比较了其与现有最先进方法的性能。在多个编辑信号下，FramePainter均展现出卓越的性能，尤其是在编辑的连贯性和视觉一致性方面。实验结果表明，FramePainter在使用少于1%的训练样本的情况下，仍能超越其他方法，体现出其在数据效率和泛化能力上的优势。
实验设置：通过构建高质量视频数据集，提取不同类型的编辑信号，包括绘制草图、点击点和拖动区域等。 比较基准：FramePainter在CLIP-FID、LPIPS和SSIM等指标上均显著优于其他基线方法，证明其在视觉一致性和编辑准确性上的优势。 用户研究：通过用户偏好调查，结果显示大多数用户更倾向于选择FramePainter生成的图像，进一步验证了其在实际应用中的有效性。
结论与展望
FramePainter的提出为交互式图像编辑领域带来了新的视角与方法，展示了如何通过视频扩散先验来提升图像编辑的灵活性和准确性。未来的研究可以进一步探索如何将FramePainter的框架扩展到更复杂的编辑任务中，并优化其在实时应用中的表现。此外，结合其他生成模型的优势，FramePainter有潜力在更广泛的应用场景中发挥作用，例如虚拟现实和增强现实中的实时图像处理。
