点击上方蓝字关注我们
作者单位：
南洋理工大学，阿里巴巴达摩院， 西安交通大学
简介
针对目前多模态大模型（MLLMs）对于物体间关系理解的不足，我们贡献了一个大规模、高质量、多领域的专注于物体间关系理解的数据集MMRel。相比于其他数据集，MMRel具有以下优点：（1）包含有超过22K条问答对，这些问题来自于三个不同领域的图片并考虑了三种物体间关系，确保了数据集的大规模以及多样性；（2）所有的标注都经过了人工检查，确保了数据集的高质量和准确性；（3）包含有一个高难度子集，专注于少见的或反常的物体间关系，这个子集可以从更具挑战性的角度评估模型的关系幻觉。得益于上述优点，MMRel是一个理想的评估多模态大模型对于物体间关系理解的数据集。MMRel也可以用来微调模型，来提高模型对于物体间关系理解甚至于其他任务的能力。
详细的讨论分析详见论文：
https://arxiv.org/pdf/2406.09121
数据集已开源：
https://niejiahao1998.github.io/MMRel/
尽管已经创建了几个关于物体间关系的数据集，但他们并不是为了评估多模态大模型（MLLMs）对关系的理解能力而设计的。具体来说，大多数现有的基准测试在数据规模、关系类别和数据多样性方面存在明显的局限性。我们通过创建一个全面的物体间关系基准测试来解决这个问题，目的是衡量和提高 MLLMs 在各种多模态任务中对关系的理解能力。
我们引入了一个半自动数据收集流程（SemiDC），它能够对大规模现有图像进行标注，并生成大量高质量的合成图像。如论文中所讨论的，重新标注现有图像是必要的，因为它们原始的标签与多模态大模型（MLLMs）不兼容。为此，我们设计了 SemiDC，通过 GPT-4V 为大规模视觉关系（VG）基准生成高质量的关系注释。这个过程分为三个阶段：（一）预处理：我们选择性地排除那些对 GPT-4V 生成准确注释构成挑战的复杂场景图像；（二）通过 GPT-4V 重新标注：我们采用上下文学习范式，使用 GPT-4V 生成关系注释；（三）人工验证：我们手动评估并纠正由 GPT-4V 生成的注释，以确保收集到的物体间关系数据的质量。
表格显示了 MMRel 的统计数据。具体来说，MMRel 包括大约 22,500 个问题-答案对（15K 是 Yes/No 类型，7.5K 是开放式问题），分布在 7 个子集中，涵盖了 3 个领域和 3 类关系。得益于 GPT-4V 的开放词汇能力，MMRel 保证了对象和行为关系的多样性。
我们使用 MMRel 中的全部 15K 个 Yes/No 问题-答案对来评估多模态大模型（MLLMs）在处理具有丰富物体间关系的多模态数据时的表现。正如表格所示，所有九种 MLLMs 在处理关系理解时都遇到了各种问题。
正如表格所示，通过使用 MMRel 进行微调显著且一致地提高了所有数据领域和关系类别中的关系理解能力。此外，微调也改善了对抗子集的关系理解。
致谢作者，本文系论文作者原创作品，转载请注明出处！关于论文的详细实施过程和具体解释请阅读论文原文哦～❤️❤️ /欢迎投稿
喜欢的话，请别忘记点赞👍➕关注哦
推荐阅读
ECCV 2024 | 破解多模态学习：单模态模型联合嵌入助力缺失模态预测新突破！
CVPR 2024｜拥抱单模态不确定性，实现稳健多模态融合！电子科大与同济等联手突破多模态技术瓶颈！
TPAMI 2024 ｜多模态学习最新综述！普林斯顿大学、武汉大学等从数据视角解读多模态学习
