多模态生成与定制：多角色互动的漫画生成；T2I细粒度属性控制
DiffSensei: Bridging Multi-Modal LLMs and Diffusion Models for Customized Manga Generation
2024-12-10｜PKU, Shanghai AI Lab, NTU, ByteDance|🔺25
http://arxiv.org/abs/2412.07589v1
https://huggingface.co/papers/2412.07589
https://jianzongwu.github.io/projects/diffsensei/
研究背景与意义
在当今的视觉叙事领域，故事可视化（story visualization）正迅速发展，尤其是在漫画生成方面。传统的漫画生成方法多集中于低级别的图像转换，未能有效满足个性化和多角色叙事的需求。当前的技术在生成具有多角色互动的场景时，往往缺乏对角色外观和互动的有效控制，导致生成的内容在叙事深度和视觉连贯性上存在显著不足。
因此，DiffSensei的提出不仅填补了这一研究空白，还为漫画生成带来了新的可能性。该研究通过引入MangaZero数据集，标志着在多角色定制漫画生成领域的一次重要突破，能够为角色的动态定制和叙事一致性提供强有力的支持。
研究方法与创新
DiffSensei是一个创新框架，结合了扩散模型和多模态大型语言模型（MLLM），旨在实现动态的多角色漫画生成。其核心创新点包括：
动态角色控制：DiffSensei允许角色根据文本提示动态调整外观、动作和表情，解决了传统方法在角色定制上的局限性。
MangaZero数据集：该数据集是为多角色、多状态漫画生成专门设计的，包含43,264个漫画页面及427,147个标注面板，极大丰富了训练数据的多样性和深度。
Masked Cross-Attention机制：通过在模型中引入masked attention injection，DiffSensei能够精确控制角色的布局，确保每个角色只关注其指定的区域，从而提高了生成内容的视觉一致性和叙事连贯性。
多模态适配：MLLM作为角色特征适配器，使得角色能够灵活响应文本提示，提升了生成图像的表达能力和丰富性。
这些创新共同推动了漫画生成技术的进步，使得DiffSensei在生成个性化和复杂叙事内容方面表现优异。
实验设计与结果分析
DiffSensei的实验设计包括多个阶段，首先通过MangaZero数据集训练模型，随后在未见角色的情况下进行评估。实验结果表明，DiffSensei在多项自动化指标上均优于现有基线模型，尤其在角色一致性和图像质量方面表现突出。具体而言：
FID（Fréchet Inception Distance）：DiffSensei的FID得分为0.407，显示出其生成图像的高质量。 CLIP和DINO指标：在图像和文本对齐及角色相似性方面，DiffSensei的得分均高于基线模型，证明其在保持角色一致性和叙事连贯性方面的优势。 人类偏好研究：通过人类评估，DiffSensei在整体偏好、角色一致性和图像质量等维度上获得了最高评分，进一步验证了其在生成生动且引人入胜的漫画故事方面的能力。
结论与展望
DiffSensei的研究不仅为漫画生成开辟了新路径，还为未来的视觉叙事技术提供了重要的参考。通过结合扩散模型和多模态大型语言模型，该框架实现了对角色的动态定制和叙事一致性的有效控制。未来，DiffSensei有望在更广泛的应用场景中展现其潜力，如游戏开发、动画制作等领域，同时也为进一步的研究提供了丰富的数据和方法论基础。随着技术的不断进步，定制化的漫画生成将成为视觉叙事领域的一个重要趋势。
FiVA: Fine-grained Visual Attribute Dataset for Text-to-Image Diffusion Models
2024-12-10｜Stanford, CUHK, ZJU, NTU S-Lab, Shanghai AI Lab, CPII under InnoHK｜NeurIPS 2024|🔺17
http://arxiv.org/abs/2412.07674v1
https://huggingface.co/papers/2412.07674
https://fiva-dataset.github.io/
研究背景与意义
在现代图像生成领域，文本到图像生成技术取得了显著进展，然而，用户在描述所需的视觉属性时常常面临挑战。尤其对于非专业人士来说，理解和应用艺术与摄影中的细微视觉特征变得尤为困难。为了解决这一问题，本文提出了FiVA（Fine-grained Visual Attribute）数据集，旨在通过细致的视觉属性分解，增强用户在图像生成过程中的控制力。
研究现状：
当前的文本到图像生成方法通常依赖于对源图像的身份和风格的提取，但“风格”这一概念过于宽泛，未能涵盖如光照、动态等其他重要属性。 现有方法在生成过程中缺乏对特定视觉属性的有效控制，因此限制了其在多样化应用中的实用性。
研究意义：
FiVA数据集的构建为细粒度视觉属性的提取提供了基础，使得用户可以更灵活地应用不同源图像的特征。 通过引入FiVA适配器，本文不仅提升了图像生成的可控性，还为多样化的用户需求提供了解决方案。
研究方法与创新
本文提出了一种新的视觉属性适配框架FiVA-Adapter，旨在解耦和适应来自一个或多个源图像的视觉属性，以生成符合用户需求的图像。
数据集构建：
FiVA数据集包含约100万张高质量生成图像，配有详细的视觉属性注释，利用先进的生成模型和自动化数据生成管道进行构建。 采用了一种系统化的方法，包括属性和主题的定义、提示创建、基于大型语言模型的过滤和人工验证，以确保数据集的质量。
FiVA-Adapter设计：
该框架的核心在于多图像双重交叉注意力模块，能够同时处理多个图像条件和文本提示，从而实现细粒度的视觉属性控制。 通过引入Q-Former模块，FiVA-Adapter能够提取与给定属性指令相对应的图像条件特征，为生成目标图像提供了强大的支持。
创新点：
相较于传统方法，FiVA-Adapter在属性提取的精确性和灵活性上有了显著提升，能够有效结合来自不同源图像的视觉特征，满足用户的多样化需求。
实验设计与结果分析
在实验中，FiVA-Adapter在多种属性类型上进行了广泛测试，结果表明其在精确控制属性提取、文本对齐和属性组合的灵活性方面均优于基线方法。
实验设置：
采用多种基线方法进行比较，包括Dreambooth-Lora、IP-Adapter等，设置了系统的评估指标，以确保结果的可靠性。 通过用户研究和GPT评分，评估生成图像的主题准确性和属性准确性。
结果分析：
实验结果显示，FiVA-Adapter在属性和主题的联合准确性上表现优异，尤其在处理复杂的视觉属性时，展现了良好的适应性和生成质量。
结论与展望
本文通过构建FiVA数据集和FiVA-Adapter框架，成功解决了现有文本到图像生成方法在控制细粒度视觉概念方面的局限性。未来的研究将集中在进一步优化数据集构建过程，探索更复杂的视觉属性，以推动图像生成技术的进步。
贡献总结：
提供了一种新的数据集和方法，增强了用户对图像生成的控制能力，为未来的研究和应用奠定了基础。
未来展望：
计划从专业摄影师和设计师那里收集高质量数据，结合人工注释，以构建更具现实感的数据集，并进一步提升生成模型的表现。
