多模态大模型评估与应用：多模态大语言模型评估综述；视觉-语言生成奖励模型评估
MME-Survey: A Comprehensive Survey on Evaluation of Multimodal LLMs
2024-11-22｜NJU, CAS IA, USTC, NTU, Shanghai AI Lab|🔺14
http://arxiv.org/abs/2411.15296v1
https://huggingface.co/papers/2411.15296
https://github.com/BradyFU/Awesome-Multimodal-Large-Language-Models/tree/Benchmarks
研究背景与意义
在人工智能领域，多模态大型语言模型（MLLMs）作为通向通用人工智能（AGI）的重要方向，越来越受到学术界和工业界的关注。这类模型不仅在自然语言处理中表现出色，还能处理视觉和听觉等多种信息形式，展现出更强的感知和推理能力。然而，随着模型能力的提升，如何有效评估其性能成为了一个亟待解决的问题。传统的训练-评估-测试范式通常只针对单一任务，而MLLMs的多样化能力促使了新基准和评估方法的兴起。本文旨在全面梳理MLLM的评估方法，帮助研究者更好地理解如何根据不同需求有效评估这些模型，从而推动MLLM研究的进展。
研究方法与创新
本研究通过系统性地对现有的MLLM评估基准进行分类，提出了四个主要方面的探讨：
1）根据评估能力对基准类型进行总结，包括基础能力、模型自我分析和扩展应用； 2）基准构建的典型流程，包括数据收集、注释和注意事项； 3）系统的评估方式，由评审、指标和工具包组成；4）下一步基准的方向。通过对比现有方法，本文突出了在评估MLLM时所需的新标准和方法，强调了在多模态和多任务环境下的评估策略。
实验设计与结果分析
在实验设计方面，本文描述了多种评估方法，包括人类评估、基于模型的评估和脚本评估。研究表明，尽管MLLM在一些常识性任务上表现优异，但在图像分类、光学字符识别（OCR）等任务上仍然落后于领先的监督模型。通过对比基准，分析了MLLM在不同场景下的表现，统计显著性分析显示，模型在处理复杂任务时仍面临挑战，尤其是在细粒度感知和多模态理解方面。
结论与展望
本文总结了MLLM的主要贡献与局限，指出了当前评估方法在实际应用中的不足，并展望了未来的研究方向。随着多模态模型的发展，如何设计更具挑战性的基准，以更全面地反映模型的优缺点，将是推动该领域进步的关键。同时，本文呼吁研究者们共同努力，推动更有效的评估方法的探索，以促进MLLM的研究和应用。
VLRewardBench: A Challenging Benchmark for Vision-Language Generative Reward Models
2024-11-26｜The University of Hong Kong, SCUT, SJTU, PKU, U Washington, Allen Institute for AI|🔺7
http://arxiv.org/abs/2411.17451v1
https://huggingface.co/papers/2411.17451
https://vl-rewardbench.github.io
研究背景与意义
在当前多模态人工智能系统的快速发展中，视觉-语言生成奖励模型（VL-GenRMs）扮演着至关重要的角色。它们不仅用于评估模型的表现，还在模型对齐和优化过程中发挥了重要作用。然而，现有的评估方法主要依赖于传统视觉-语言任务中的人工标注偏好标签，这种方法存在系统性偏差，无法有效挑战最先进的模型。因此，本文提出了VL-RewardBench，一个全面的基准测试，旨在填补这一空白。该基准涵盖了广泛的多模态查询、视觉幻觉检测和复杂推理任务，旨在提供更具挑战性的评估标准，从而推动VL-GenRMs的进步。
研究方法与创新
VL-RewardBench的构建采用了一种AI辅助的标注管道，结合样本选择与人工验证，精心策划了1250个高质量的样本，专门设计用于探测模型的局限性。这些样本来源于七个不同的数据集，涵盖了多模态指令、视觉幻觉查询和多模态推理任务。通过对比现有的评估方法，VL-RewardBench在以下几个方面展现出显著的创新性：
多样化覆盖：基准测试涵盖了真实世界应用中的多种场景，确保了评估的全面性。 挑战性设计：通过针对性的数据策划，确保样本具有足够的难度，以揭示当前模型的局限性。 客观的真实标签：所有偏好标签均经过人工验证，消除了模糊或错误的标注对评估结果的影响。
这些创新点使得VL-RewardBench成为一个重要的资源，不仅可以用于当前的模型评估，还能为未来的研究提供指导。
实验设计与结果分析
在对16种最先进的VL-GenRMs进行全面评估时，结果显示，即使是领先的商业模型如GPT-4o和Gemini-1.5-Pro在VL-RewardBench上的表现也仅为62.4%和62.5%。这表明当前模型在处理复杂的多模态任务时仍然面临重大挑战。通过分析实验结果，研究者们发现以下关键见解：
视觉感知的主要瓶颈：模型在基本的视觉感知任务上表现不佳，错误率高达67.9%。 推理任务的相对优势：相比之下，推理任务的错误率较低，表明模型在高层次推理能力方面相对更强。 模型规模的重要性：随着模型规模的增加，性能普遍提升，尤其是在视觉感知任务中。
这些发现为未来的研究指明了方向，强调了改善视觉感知能力和推理能力的重要性。
结论与展望
VL-RewardBench的构建不仅解决了当前评估方法的局限性，还为VL-GenRMs的发展提供了新的视角。通过系统的评估和深入的分析，研究者们相信VL-RewardBench将成为推动视觉-语言生成奖励模型进步的重要资源。同时，未来的研究可以集中在增强视觉感知能力、优化模型规模和探索新的训练策略上，以进一步提升模型的性能和应用范围。
