点击下方卡片，关注“CVer”公众号
AI/CV重磅干货，第一时间送达
AI/CV重磅干货，第一时间送达
添加微信号：CVer2233，小助手会拉你进群！
扫描下方二维码，加入CVer学术星球！可以获得最新顶会/顶刊上的论文idea和CV从入门到精通资料，及最前沿应用！发论文/搞科研/涨薪，强烈推荐！
添加微信号：CVer2233，小助手会拉你进群！
扫描下方二维码，加入CVer学术星球！可以获得最新顶会/顶刊上的论文idea和CV从入门到精通资料，及最前沿应用！发论文/搞科研/涨薪，强烈推荐！
我们引入了一个半自动数据收集流程（SemiDC），它能够对大规模现有图像进行标注，并生成大量高质量的合成图像。如论文中所讨论的，重新标注现有图像是必要的，因为它们原始的标签与多模态大模型（MLLMs）不兼容。为此，我们设计了 SemiDC，通过 GPT-4V 为大规模视觉关系（VG）基准生成高质量的关系注释。这个过程分为三个阶段：（一）预处理：我们选择性地排除那些对 GPT-4V 生成准确注释构成挑战的复杂场景图像；（二）通过 GPT-4V 重新标注：我们采用上下文学习范式，使用 GPT-4V 生成关系注释；（三）人工验证：我们手动评估并纠正由 GPT-4V 生成的注释，以确保收集到的物体间关系数据的质量。
表格显示了 MMRel 的统计数据。具体来说，MMRel 包括大约 22,500 个问题-答案对（15K 是 Yes/No 类型，7.5K 是开放式问题），分布在 7 个子集中，涵盖了 3 个领域和 3 类关系。得益于 GPT-4V 的开放词汇能力，MMRel 保证了对象和行为关系的多样性。
我们使用 MMRel 中的全部 15K 个 Yes/No 问题-答案对来评估多模态大模型（MLLMs）在处理具有丰富物体间关系的多模态数据时的表现。正如表格所示，所有九种 MLLMs 在处理关系理解时都遇到了各种问题。
正如表格所示，通过使用 MMRel 进行微调显著且一致地提高了所有数据领域和关系类别中的关系理解能力。此外，微调也改善了对抗子集的关系理解。
何恺明在MIT授课的课件PPT下载
在CVer公众号后台回复：何恺明，即可下载本课程的所有566页课件PPT！赶紧学起来！
ECCV 2024 论文和代码下载
在CVer公众号后台回复：ECCV2024，即可下载ECCV 2024论文和代码开源的论文合集
CVPR 2024 论文和代码下载
在CVer公众号后台回复：CVPR2024，即可下载CVPR 2024论文和代码开源的论文合集
Mamba、多模态和扩散模型交流群成立
扫描下方二维码，或者添加微信号：CVer2233，即可添加CVer小助手微信，便可申请加入CVer-Mamba、多模态学习或者扩散模型微信交流群。另外其他垂直方向已涵盖：目标检测、图像分割、目标跟踪、人脸检测&识别、OCR、姿态估计、超分辨率、SLAM、医疗影像、Re-ID、GAN、NAS、深度估计、自动驾驶、强化学习、车道线检测、模型剪枝&压缩、去噪、去雾、去雨、风格迁移、遥感图像、行为识别、视频理解、图像融合、图像检索、论文投稿&交流、PyTorch、TensorFlow和Transformer、NeRF、3DGS、Mamba等。
一定要备注：研究方向+地点+学校/公司+昵称（如Mamba、多模态学习或者扩散模型+上海+上交+卡卡），根据格式备注，可更快被通过且邀请进群
▲扫码或加微信号: CVer2233，进交流群
CVer计算机视觉（知识星球）来了！想要了解最新最快最好的CV/DL/AI论文速递、优质实战项目、AI行业前沿、从入门到精通学习教程等资料，欢迎扫描下方二维码，加入CVer计算机视觉（知识星球），已汇集上万人！
▲扫码加入星球学习
▲点击上方卡片，关注CVer公众号
整理不易，请赞和在看
