视频修复与知识获取：评估VLLM从视频中获取知识的能力；扩散模型进行视频物体对象移除
Video-MMMU: Evaluating Knowledge Acquisition from Multi-Discipline Professional Videos
2025-01-23｜NTU, CMU|🔺8
http://arxiv.org/abs/2501.13826v1
https://huggingface.co/papers/2501.13826
https://videommmu.github.io/
研究背景与意义
在当今信息爆炸的时代，视频作为一种重要的教育媒介，承载了大量知识。然而，现有的多模态模型（LMMs）在从视频中获取和应用知识的能力上存在显著差距。Hu等人提出的Video-MMMU基准旨在评估LMMs在知识获取方面的能力，尤其是视频学习如何促进人类的认知过程。研究表明，人类通过视频学习经历三个认知阶段：感知、理解和适应，而现有模型在这些阶段的表现却未能达到人类水平。这一发现突显了提升LMMs视频学习能力的紧迫性，尤其是在复杂的知识应用场景中。
研究方法与创新
Video-MMMU基准的创新之处在于其系统性地评估LMMs在知识获取过程中的表现，主要通过以下几个方面进行评估：
知识密集型视频集合：研究团队精心挑选了300个涵盖艺术、商业、科学、医学、人文学科和工程等六个领域的专家级视频，确保了知识获取的多样性和深度。
基于知识获取的问答设计：每个视频配有三种认知阶段的问题，分别对应感知、理解和适应，确保对模型能力的全面评估。
量化知识获取评估：引入了知识获取指标（∆），用于量化模型在观看视频后的表现提升，提供了一个定量化的评估框架。
通过这些创新，Video-MMMU不仅能够评估模型的知识获取能力，还能揭示其在不同认知阶段的表现差异，推动未来模型的优化。
实验设计与结果分析
实验通过对多种开源和专有的LMMs进行评估，揭示了以下关键发现：
人类与模型的表现差距：人类在视频学习后的知识获取提升（∆ = 33.1%）明显高于模型（如GPT-4o仅为∆ = 15.6%），这表明模型在适应新知识方面存在较大挑战。
认知需求与模型表现的关系：随着认知需求的增加，模型的表现普遍下降，尤其在理解和适应阶段，显示出模型对于复杂任务的处理能力不足。
音频转录的影响：引入音频转录后，模型的理解能力有所提升，尤其在理解阶段，但在适应阶段却显示出性能下降，表明音频可能在某些情况下限制了模型的知识适应能力。
结论与展望
Video-MMMU的研究揭示了当前LMMs在从视频中获取和应用知识时的显著不足，尤其是在适应新场景的能力上。未来的研究需要聚焦于提升模型的知识适应能力，以缩小与人类在视频学习中的表现差距。同时，进一步探索如何优化音频和视频信息的结合，以支持更有效的知识获取和应用，将是一个重要的研究方向。
DiffuEraser: A Diffusion Model for Video Inpainting
2025-01-17｜Alibaba Group, Alibaba Tongyi Lab|🔺7
http://arxiv.org/abs/2501.10018v1
https://huggingface.co/papers/2501.10018
https://github.com/lixiaowen-xw/DiffuEraser.git
研究背景与意义
在视频修复领域，现有的算法通常面临诸多挑战，如模糊和时间不一致性，特别是在处理大规模遮罩时。本文提出的DiffuEraser模型旨在解决这些问题，通过引入基于稳定扩散的生成能力，显著提升了视频修复的细节和结构一致性。研究的意义在于推动视频生成技术的发展，尤其是在内容完整性和时间一致性方面，为后续的多媒体应用奠定了基础。
现状概述：视频修复技术近年来取得了显著进展，尤其是光流和变换器方法的结合，然而这些方法在处理大遮罩时表现不佳。 挑战与目标：当前方法在生成内容时常出现模糊和不一致的问题，DiffuEraser的目标是通过增强生成能力来克服这些挑战。 研究意义：本研究不仅为视频修复提供了新的解决方案，也为扩展生成模型在其他视觉任务中的应用提供了启示。
研究方法与创新
DiffuEraser通过将视频修复任务分解为三个子问题：已知像素的传播、未知像素的生成和完成内容的时间一致性。针对每个子问题，提出了相应的解决方案。
已知像素传播：利用运动模块增强信息传播能力，确保每一帧中的细节和对象得到有效恢复。 未知像素生成：依托稳定扩散模型的强大生成能力，生成更具细节和纹理的内容，克服了传统模型的模糊和马赛克问题。 时间一致性优化：通过扩展时间感受野，确保长序列推理中的内容一致性，采用预推理技术结合视频扩散模型的时间平滑特性，实现更平滑的帧间过渡。
DiffuEraser的创新之处在于其综合利用了运动模块和注入先验信息的策略，显著提高了生成的准确性和稳定性。
实验设计与结果分析
研究通过Panda-70M数据集进行训练，采用两阶段训练策略，分别针对内容生成和时间一致性进行优化。实验结果表明，DiffuEraser在内容完整性和时间一致性方面均优于现有的最先进技术。
实验设置：使用NVIDIA A100 GPU进行训练，设置为512的分辨率，确保训练效率和效果。 结果分析：通过与Propainter等现有模型进行对比，DiffuEraser在纹理质量和时间一致性上均表现出色，特别是在处理大遮罩时。 统计显著性：实验结果经过统计分析，确认DiffuEraser在生成内容的稳定性和一致性上具有显著优势。
结论与展望
DiffuEraser作为一种基于稳定扩散的视频修复模型，通过有效解决已知像素传播、未知像素生成和时间一致性等问题，展示了其在视频修复领域的潜力。未来的研究可以探索将该模型应用于更广泛的视频编辑任务，如对象替换和局部风格化。
总结贡献：DiffuEraser在视频修复领域引入了新的方法论，提升了生成内容的质量和一致性。 分析局限：尽管DiffuEraser表现优异，但在极端情况下仍可能出现不一致性，未来需进一步优化。 方法展望：未来的工作将致力于将DiffuEraser的技术拓展至其他多媒体应用，推动生成模型的进一步发展。
