多模态与跨文化评估：日文多模态基准；视频token压缩；结直肠癌多模态诊断
JMMMU: A Japanese Massive Multi-discipline Multimodal Understanding Benchmark for Culture-aware Evaluation
2024-10-22｜UTokyo, CMU|🔺7
http://arxiv.org/abs/2410.17250v1
https://huggingface.co/papers/2410.17250
https://mmmu-japanese-benchmark.github.io/JMMMU/
研究背景与意义
在近年来，随着大语言模型（LLMs）和大型多模态模型（LMMs）的快速发展，非英语语言的研究也逐渐受到重视。本文提出的JMMMU（Japanese Massive Multi-discipline Multimodal Understanding）基准，旨在填补现有多模态评估中对日本文化背景的不足，尤其是在评估LMMs在日本文化特定任务上的表现。当前的基准大多集中于英语，缺乏对其他语言的深入分析。因此，构建一个全面的、文化意识强的评估标准，对促进多语言LMM的发展具有重要意义。
JMMMU的设计不仅考虑了文化中立的学科（如数学），还特别增加了文化特定的学科，以便更好地反映日本的文化背景。这种双重评估方式使得研究者能够识别出LMMs在不同文化背景下的表现差异，从而推动模型的改进和发展。
研究方法与创新
JMMMU基准的核心创新在于其双子集的设计：文化中立（CA）子集和文化特定（CS）子集。CA子集通过对现有MMMU基准的翻译，确保了与英语基准的一对一比较，而CS子集则通过精心设计的问题，反映了日本文化的独特性。该基准的构建过程涉及了对文化依赖性的深入分析，确保了问题的适用性和相关性。
在实验中，研究者对15个开源LMM和3个先进的专有LMM进行了评估，结果表明，尽管在CA子集上表现良好，但在CS子集上，大多数模型的表现却显著下降，这揭示了当前模型在日本文化理解方面的局限性。此外，研究还强调了在多语言模型开发中，评估工具的多样性和文化适应性的重要性。
实验设计与结果分析
在实验设计方面，JMMMU基准包含了1320个问题和1118幅图片，覆盖了多种学科。通过对模型在CA和CS子集上的表现进行对比，研究者发现，尽管一些模型在CA子集上表现良好，但在CS子集上却遭遇了显著的性能下降。例如，开源模型的整体表现仅为40.5%，而专有模型的表现则高达58.6%，显示出两者之间的显著差距。
实验结果还表明，基于翻译的评估可能导致性能的偏差，特别是在非英语语言的任务中。通过对不同模型的表现进行细致分析，研究者发现，许多模型在处理文化特定问题时，缺乏必要的背景知识和文化理解，导致了较低的准确率。
结论与展望
本研究提出的JMMMU基准为评估LMMs在日本文化特定任务上的能力提供了新的视角。研究结果不仅揭示了当前模型在多语言和文化理解方面的不足，也强调了在未来的模型开发中，构建高标准、多样化的评估工具的重要性。通过推动对文化特定任务的深入研究，研究者希望能够激励更多的社区参与到多语言模型的发展中，从而促进更具包容性和实用性的LMMs的创建。未来的工作将集中在扩展评估范围、提高模型的指令遵循能力以及探索其他文化背景下的评估标准。
xGen-MM-Vid (BLIP-3-Video): You Only Need 32 Tokens to Represent a Video Even in VLMs
2024-10-21｜Salesforce AI Research|🔺6
http://arxiv.org/abs/2410.16267v1
https://huggingface.co/papers/2410.16267
https://www.salesforceairesearch.com/opensource/xGen-MM-Vid/index.html
研究背景与意义
在当今计算机视觉领域，视频的理解和处理正逐渐成为一个重要的研究方向。随着多模态学习的快速发展，传统的视觉语言模型（VLM）在图像处理上取得了显著进展，但在视频处理方面仍面临诸多挑战。现有模型往往需要处理大量的视觉token，例如，某些模型需要4608个token来表示视频，这不仅增加了计算复杂度，还导致了效率低下。因此，针对视频的高效表示和处理方法的研究显得尤为重要。
BLIP-3-Video（xGen-MM-Vid）作为一种新型的多模态语言模型，旨在通过引入显式的时间编码器，显著减少所需的视觉token数量，从而提高视频理解的效率和准确性。
研究方法与创新
BLIP-3-Video的核心创新在于其引入的时间编码器。该模型通过将多个帧的token映射为一个紧凑的视觉token集合，显著降低了所需的视觉token数量（例如，从4608个减少到32个）。
具体而言，BLIP-3-Video采用了可学习的时空池化和序列模型作为时间编码器，能够有效地提取视频的时序特征。通过实验验证，该模型在开放式问题回答和视频描述任务中，使用少量token（如16到32个）仍能保持与更大规模模型（如34B参数模型）相当的性能。这种方法不仅提高了模型的计算效率，还为视频理解提供了一种新的思路。
实验设计与结果分析
在实验设计中，BLIP-3-Video经过了三阶段的课程学习：图像标题预训练、视频标题预训练和视频指令调优。通过在多个公开数据集上进行评估，BLIP-3-Video在视频问答准确率上表现优异，尤其是在MSVD-QA、MSRVTT-QA和TGIF-QA等数据集上，显示出其在开放式问题回答任务中的竞争力。此外，实验结果表明，BLIP-3-Video在使用较少token的情况下，能够有效地捕捉视频中的重要信息，且其在处理速度上也具备明显优势。
结论与展望
BLIP-3-Video的研究成果展示了在视频理解领域的巨大潜力。通过引入高效的时间编码器，该模型不仅在性能上与传统大型模型相媲美，同时在计算效率上也显著提升。
未来的研究可以进一步探索如何优化时间编码器的结构和功能，以便在更复杂的视频理解任务中保持高效的表现。此外，结合更多的多模态数据源，提升模型的泛化能力，将是后续研究的重要方向。
Frontiers in Intelligent Colonoscopy
2024-10-22｜NIAR, Nankai University, ANU, Keio, Tsinghua, MBZUAI|🔺1
http://arxiv.org/abs/2410.17241v1
https://huggingface.co/papers/2410.17241
https://github.com/ai4colonoscopy/IntelliScope
研究背景与意义
随着发达国家结直肠癌（CRC）发病率的下降，CRC依然是全球第三大癌症，尤其在发展中国家发病率仍在上升。结肠镜检查作为一种有效的CRC筛查方法，其灵敏度高，能够通过灵活的相机设备直接观察结肠内的病变。然而，传统的结肠镜检查存在一定的局限性，包括漏检率和操作复杂性。近年来，人工智能（AI）技术的应用已显著降低了结直肠肿瘤的漏检率，提升了诊断的准确性。
本研究旨在探讨智能结肠镜技术的前沿及其在多模态医疗应用中的潜在影响。通过对结肠镜场景感知的四个任务（分类、检测、分割和视觉语言理解）的评估，揭示了该领域的挑战与机遇，特别是在多模态研究方面的潜力。
研究方法与创新
本研究通过建立三个基础性举措来推动智能结肠镜技术的发展：首先，创建了一个大规模的多模态指令调优数据集ColonINST，包含303,001张结肠镜图像，涵盖62个子类别，反映了结肠镜检查中的多样化场景；其次，开发了一个专为结肠镜设计的多模态语言模型ColonGPT，以便通过交互式对话帮助内镜医师；最后，建立了一个多模态基准测试，提供了对当前技术的性能评估。研究中采用的多模态适配器设计，通过选择性采样视觉标记，显著降低了计算成本，同时保持了模型的性能。
实验设计与结果分析
在实验部分，研究者通过对比现有模型和新提出的ColonGPT，评估了其在分类、检测和分割任务上的表现。实验结果表明，ColonGPT在分类任务上的准确率为94.02%，在未见样本的局部化任务中IoU达到了83.42%，显示出良好的泛化能力。此外，ColonGPT在视觉特征与语言指令的结合上表现出色，能够有效地识别结肠镜图像中的病变，并生成详细的医学描述。
结论与展望
本研究不仅揭示了智能结肠镜技术在多模态医疗中的应用前景，还提出了针对当前技术瓶颈的解决方案。
未来，随着数据规模的扩大和多模态技术的进步，智能结肠镜技术有望在提高结直肠癌筛查效率和准确性方面发挥更大的作用。此外，研究还强调了数据稀缺问题的应对策略，包括利用合成数据和增强学习技术，以推动结肠镜领域的持续创新。
