图像生成与评估：COT用于图像生成；文生图超全面评估；角色一致的图片生成
Can We Generate Images with CoT? Let's Verify and Reinforce Image Generation Step by Step
2025-01-23｜CUHK, PKU, Shanghai AI Lab|🔺11
http://arxiv.org/abs/2501.13926v1
https://huggingface.co/papers/2501.13926
https://github.com/ZiyuGuo99/Image-Generation-CoT
研究背景与意义
在当今的人工智能领域，图像生成技术正迅速发展，尤其是自回归图像生成模型（如Show-o）。然而，尽管这些模型在生成视觉内容方面表现出色，它们在处理复杂的文本提示时仍面临挑战。本研究通过引入链式推理（CoT）策略，旨在提高自回归图像生成的质量和可靠性。研究的核心在于探讨如何通过系统的推理过程来增强图像生成的效果，从而为未来的研究提供新的思路和方法。研究的意义在于，不仅提升了生成图像的准确性，还为自回归模型的进一步发展奠定了基础。
研究方法与创新
本研究提出了两种新的奖励模型：潜力评估奖励模型（PARM）和PARM++，它们专门针对自回归图像生成进行了优化。PARM通过三个关键任务来实现逐步评估：清晰度判断、潜力评估和最佳选择。这种方法允许模型在每个生成步骤中动态评估图像的质量，确保只有那些具有高潜力的生成路径被保留。
清晰度判断：在每个步骤中，模型首先判断生成的图像是否足够清晰，以便进行后续评估。 潜力评估：对于通过清晰度判断的图像，模型进一步评估该步骤生成的图像是否能够导致高质量的最终结果。 最佳选择：在完成上述评估后，模型会从高潜力的路径中选择最优的生成结果。
PARM++在此基础上增加了反思机制，使得模型能够在生成过程中进行自我校正，进一步提升了图像生成的质量和一致性。
实验设计与结果分析
通过在GenEval基准上进行的广泛实验，研究结果表明，PARM和PARM++在图像生成的各个方面均优于现有的方法。实验设置包括对比传统的奖励模型（ORM和PRM）和新提出的PARM系列模型。结果显示，PARM在提高生成质量方面表现突出，尤其是在处理复杂的文本描述时，其生成的图像在视觉质量和文本对齐方面均显著优于其他模型。
对比基准：PARM在GenEval基准上实现了+24%的性能提升，超越了最新的Stable Diffusion 3模型。 多场景表现：在不同场景下的生成任务中，PARM++通过自我反思机制进一步提升了生成结果的准确性和一致性。
结论与展望
本研究首次系统地探讨了链式推理策略在自回归图像生成中的应用，提出了潜力评估奖励模型（PARM）及其增强版本PARM++。研究表明，通过合理的推理和评估机制，可以显著提升图像生成的质量和可靠性。未来的研究可以进一步探索如何将这些方法应用于更广泛的生成任务，以及如何结合其他先进的机器学习技术，以推动图像生成领域的持续进步。
IMAGINE-E: Image Generation Intelligence Evaluation of State-of-the-art Text-to-Image Models
2025-01-23｜SJTU, Shanghai AI Lab, CUHK MMLab|🔺8
http://arxiv.org/abs/2501.13920v1
https://huggingface.co/papers/2501.13920
https://github.com/jylei16/Imagine-e
研究背景与意义
随着扩散模型的快速发展，文本到图像（T2I）模型在生成图像方面取得了显著进展。这些模型不仅展示了出色的提示跟随能力，还在多种复杂任务中表现卓越，诸如可控生成、图像编辑、视频和音频生成等。然而，现有的评估框架无法全面评估这些模型在不断扩展的领域中的表现。因此，本文提出了IMAGINE-E评估框架，旨在系统性地评估六个代表性的T2I模型，包括FLUX.1和Ideogram2.0。在此背景下，研究的目标在于探讨T2I模型是否能朝着通用适用性迈进。
现状概述：目前，T2I模型在图像生成之外，已展现出在计算机视觉任务（如语义分割和深度估计）中的能力。 研究意义：通过IMAGINE-E的评估，可以清晰地识别出各模型的优缺点，为未来的研究和应用提供指导。
研究方法与创新
本文的创新之处在于设计了IMAGINE-E评估框架，该框架涵盖了五个关键领域，旨在系统性地评估T2I模型的性能。这些领域包括结构化输出生成、现实性与物理一致性任务、特定领域生成、挑战场景生成和多样化风格创作任务。
结构化输出生成：评估模型生成表格、图形等结构化输出的能力，强调模型对复杂指令的理解能力。 现实性与物理一致性：测试生成图像是否遵循物理法则，检验模型对人类解剖学和物理规律的理解。 特定领域生成：通过设计来自专业领域的提示，考察模型在特定学科（如数学、医学等）中的表现。 挑战场景生成：通过高难度任务，全面评估模型的能力和表现。 多样化风格创作任务：考察模型在处理多种艺术风格时的能力，评估其美学质量。
实验设计与结果分析
在实验中，本文选取了六个代表性的T2I模型，采用IMAGINE-E框架对其进行评估。评估结果显示，FLUX.1和Ideogram2.0在结构化输出和特定领域生成任务中表现突出，展现了其作为基础AI工具的潜力。
实验设计：每个领域的评估均由具体的子任务构成，确保全面覆盖模型性能的各个方面。 结果分析：通过定量和定性的方法对模型的输出进行评估，使用多种评分标准（如CLIPScore、HPSv2等）进行比较。
结论与展望
研究表明，T2I模型在多个领域的表现不一，尽管FLUX.1和Ideogram2.0在特定任务中表现优异，但仍存在改进空间。未来的研究可以集中在提升模型的通用性和适应性上，以更好地满足广泛的应用需求。
总结贡献：本文通过IMAGINE-E框架为T2I模型的评估提供了新的视角，揭示了当前技术的局限性及未来的发展方向。 方法展望：建议未来的研究应关注模型在更复杂场景中的表现，以推动T2I技术向更广泛的应用领域拓展。
One-Prompt-One-Story: Free-Lunch Consistent Text-to-Image Generation Using a Single Prompt
2025-01-23｜NKU, UAB, MBZUAI, Linköping U, Independent Researcher|🔺5
http://arxiv.org/abs/2501.13554v1
https://huggingface.co/papers/2501.13554
https://github.com/byliutao/1Prompt1Story
研究背景与意义
在文本到图像生成（T2I）领域，生成高质量图像的能力至关重要，尤其是在涉及多个场景和角色一致性的叙事应用中。然而，现有的模型在保持角色一致性方面面临挑战，尤其是在不进行大量训练或模型架构修改的情况下。因此，本文提出了一种新的方法——“One-Prompt-One-Story”（1Prompt1Story），旨在通过单一的输入提示来实现一致的角色生成。这种方法利用语言模型的上下文一致性，能够在不同场景下保持角色的身份一致性，从而为动画、视频生成等叙事驱动的视觉应用提供了新的解决方案。
研究方法与创新
1Prompt1Story方法的核心在于将所有提示合并为一个单一的输入，通过两个创新技术来增强生成过程：
奇异值重加权（Singular-Value Reweighting, SVR）：该技术通过增强当前帧提示的表达能力，同时抑制其他帧提示的影响，确保每帧图像的生成更符合其描述。
身份保持交叉注意力（Identity-Preserving Cross-Attention, IPCA）：此技术在交叉注意力层中强化角色一致性，通过仅保留身份提示的特征，进一步提高生成图像的身份一致性。
通过这些方法，1Prompt1Story不仅提高了文本与图像之间的对齐程度，还确保了在多帧生成中的角色一致性。
实验设计与结果分析
本研究在扩展的ConsiStory+基准上进行了广泛的实验，与多种现有的T2I生成方法进行了比较。实验结果表明，1Prompt1Story在多个评估指标上表现优异，包括：
CLIP得分：1Prompt1Story在与文本对齐的能力上接近于最先进的模型，同时在身份一致性方面表现出色。 用户研究：参与者对生成图像的身份一致性、提示对齐和图像多样性进行了评估，结果显示1Prompt1Story获得了最高的用户偏好。
结论与展望
本文提出的1Prompt1Story方法有效解决了文本到图像生成中的角色一致性问题，展示了利用语言模型上下文一致性的重要性。未来的研究可以进一步探索如何结合更多的控制机制，以实现更复杂的叙事生成，同时扩大该方法在不同应用场景中的适用性。通过对生成模型的进一步优化，1Prompt1Story有潜力在动画、交互式叙事等领域发挥更大的作用。
