文本生成与图像合成：自动T2I，prompt生成，模型自动选择，参数自动生成
ChatGen: Automatic Text-to-Image Generation From FreeStyle Chatting
2024-11-26｜XJTU, NUS, A*STAR CFAR|🔺12
http://arxiv.org/abs/2411.17176v1
https://huggingface.co/papers/2411.17176
https://chengyou-jia.github.io/ChatGen-Home
研究背景与意义
在近年来，文本到图像生成（T2I）模型的快速发展吸引了广泛的关注。然而，尽管技术不断进步，用户在实际应用中仍面临着复杂的提示构建和模型选择等挑战。这些挑战使得用户在生成所需图像时，往往需要经历反复试错的过程，耗费大量时间和精力。因此，本文提出了自动化T2I生成的概念，旨在通过简化用户输入过程，帮助用户更轻松地实现图像生成需求。为此，研究者们首先引入了ChatGenBench，这是一个专门为自动T2I生成设计的新基准，包含了大量高质量的配对数据，支持多种用户输入形式，能够全面评估自动T2I模型的性能。
研究方法与创新
本文的核心创新在于提出了ChatGen-Evo，一种基于多阶段演化策略的T2I生成模型。该模型通过将自动T2I任务分解为多个清晰的步骤，逐步赋予模型必要的自动化技能。这种方法不仅提高了生成图像的质量，还提升了模型在复杂多步骤推理任务中的表现。具体而言，ChatGen-Evo通过以下三个阶段进行训练：
提示编写：通过监督微调（SFT）训练模型，从自由风格的用户输入生成高质量的提示。 模型选择：引入模型标记（ModelToken）策略，使模型能够在不影响提示编写能力的情况下，选择适合的T2I模型。 参数配置：通过上下文学习的方法，基于用户输入和生成的提示，自动配置生成图像所需的参数。
这种多阶段的训练方法有效提升了模型的整体性能，尤其是在用户输入多样化的情况下。
实验设计与结果分析
为了验证ChatGen-Evo的有效性，研究者在ChatGenBench上进行了广泛的实验。实验结果表明，ChatGen-Evo在多个评估指标上显著超过了其他基线模型，包括生成图像的质量和步骤准确性。具体而言，ChatGen-Evo在提示重写能力、模型选择准确性和参数配置准确性等方面表现优异，尤其是在少样本场景下，展示了更强的泛化能力。
此外，研究者还对不同输入类型的表现进行了分析，发现多模态输入相较于单一文本输入能够显著提升生成效果。这一发现强调了在实际应用中，如何有效利用多种输入形式对于提高自动T2I生成的实用性至关重要。
结论与展望
本文提出的自动T2I生成框架，不仅为用户提供了更为便捷的图像生成体验，同时也为未来的研究提供了新的方向。研究者们认为，自动T2I生成应被视为一个复杂的多步骤推理任务，未来的工作可以进一步探索如何优化提示重写和模型选择的过程。此外，随着T2I技术的不断进步，如何在实际应用中实现更高的灵活性和用户友好性，将是一个重要的研究课题。
