相关链接
论文地址：http://arxiv.org/abs/2409.06442v1
项目地址：https://github.com/georgiarg/Prompt2Fashion
论文阅读
Prompt2Fashion：自动生成的时尚数据集
摘要
人工智能 (AI) 与时尚的结合正在通过增强创造力、个性化和效率来彻底改变行业。从设计服装到预测趋势，人工智能正成为时装设计师、零售商和营销人员不可或缺的工具。然而，将人工智能融入时尚面临着重大挑战，特别是在评估人工智能生成的内容方面，这通常需要领域专业知识来确保相关性、风格和吸引力。
在这项工作中，我们展示了一个自动生成的时尚图像数据集，专注于个性化。该数据集涵盖了各种要求，包括性别、体型、场合和风格，以及它们的组合。通过利用大型语言模型 (LLM) 的功能以及扩散模型，我们提供了一种可扩展的时尚图像生成解决方案。我们的方法消除了设计最终服装时需要人工干预甚至扩散模型的条件提示的需要。
LLM 和扩散模型促进了生产的可扩展性，确保可以高效生成各种时尚图像。语言生成中的 LLM 以及图像生成中的扩散模型提供的质量保证由人类评估员验证。此验证过程反映了潜在消费者如何看待这些 AI 生成的服装，确保内容不仅在技术上精湛，而且还与当前的时尚趋势和消费者偏好产生共鸣。
鉴于人工智能正在创意领域取得重大进展，人类监督对生成内容的监管至关重要。毕竟，时尚图像合成框架最终是为该领域的专家（例如时装设计师）设计的。这些人工智能生成的图像很可能是创意过程的初步步骤，而不是最终产品。因此，人工智能生成的时尚内容必须由具有领域专业知识的个人进行评估。为此，在这项工作中，我们不仅为创意人员和工程师提供了一个开放的、自动生成的数据集，而且还强调了让专家参与评估过程的重要性，这不仅基于上述概念，还基于实验结果。
方法
本研究采用了大型语言模型（LLMs）和扩散模型（Diffusion Model）相结合的方法，生成时尚图像。首先，通过构建包含“风格、场合、性别”或“风格、场合、类型”的变量三元组，形成定制的提示模板。然后，这些提示被输入到LLMs中，如Mistral-7B和Falcon-7B，生成对应的服装描述。这些描述随后被用作扩散模型的输入，以生成最终的时尚图像。在实验中，研究者们创建了2000个样本，每个样本包含LLM输出的描述、原始三元组以及扩散模型生成的图像。为了确保生成的图像质量，研究者们还通过人类评估者进行评审，确保生成的时尚内容不仅在技术上可行，同时符合当前时尚趋势。
实验
由Stable Diffusion生成的图像，用5种不同的方法生成描述
由 Stable Diffusion 生成的描述和图像，其中的描述由 2 个不同的 LLM 生成，用于零样本学习、小样本学习和思维链（左栏为 Falcon-7B 模型，右栏为 Mistral-7B 模型）。
由 Stable Diffusion 生成的描述和图像，以及由 2 个不同的 LLM 为 RAG 生成的带有 PDF 的描述
并以 BLOG 作为来源（左栏为 Falcon-7B 模型，右栏为 Mistral-7B 模型）。
图像评价
描述评价
结论
本研究提出了一种生成由 2,000 张图像和描述组成的综合时尚数据集的新方法。通过利用 LLM 和扩散模型，我们创建了适合各种场合、风格和体型的多样化时尚内容集合。我们的评估表明，生成的图像和描述既相关又美观。虽然非专家的反馈证实了它们的吸引力，但专家评估对于确保高标准的时尚质量和适销性至关重要。因此，未来的工作将侧重于结合专家评级，以进一步完善数据集并增强其实用性。总体而言，该数据集代表了人工智能驱动的时装设计的重大进步，为行业进一步研究和应用提供了宝贵的资源。
未来工作
目前正在创建 Hugging Face 数据集，以便研究人员和开发人员更轻松地访问和使用 Prompt2Fashion 数据集。Hugging Face 上的数据集将包括图像、其相应的描述和元数据，从而实现与机器学习框架和工具的无缝集成。
为了进一步帮助用户浏览和使用 Prompt2Fashion 数据集，我们还将提供 Excel 指南。该指南将结合描述和图像，提供一种便捷的方式来探索数据集。Excel 文件中的每个条目将包括：
生成的图像。 相关描述。 元数据，例如使用的模型（Mistral 或 Falcon）、风格类别和评估分数（如适用）。
感谢你看到这里，也欢迎点击关注下方公众号并添加公众号小助手加入官方读者交流群，一个有趣有AI的AIGC公众号:关注AI、深度学习、计算机视觉、AIGC、Stable Diffusion、Sora等相关技术，欢迎一起交流学习💗～
