视频生成与物理理解：扩散模型进行重打光；T2V物理规律学习和理解能力研究，通过视频学习物理规律
SynthLight: Portrait Relighting with Diffusion Model by Learning to Re-render Synthetic Faces
2025-01-16｜Yale, Adobe Research|🔺11
http://arxiv.org/abs/2501.09756v1
https://huggingface.co/papers/2501.09756
https://vrroom.github.io/synthlight/
研究背景与意义
在当今的数字摄影领域，光照对肖像摄影的质量至关重要。然而，后期对已拍摄图像的光照进行操控仍然是一个挑战。近年来，生成图像模型的进步为控制现有图像的光照提供了新的可能性，但这些方法通常需要标记的训练数据。尤其是在肖像重光照方面，以往最有效的结果往往依赖于使用光阶段数据（Light Stage Data），这种方法在物理上受到限制，难以处理复杂的光照效果。因此，本文提出的SynthLight模型，旨在通过学习合成的人脸图像来实现肖像重光照，突破了传统方法的局限性。
研究方法与创新
SynthLight模型将图像重光照视为一种重新渲染问题，利用物理基础的渲染引擎生成数据集，以模拟在不同光照条件下的图像变化。该模型的创新之处在于提出了两种训练和推理策略，以缩小合成图像与真实图像之间的差距：
多任务训练策略：结合真实人脸肖像与无光照标签的图像，通过文本到图像的任务来引导模型学习，从而提高模型对真实场景的适应性。
推理时间的扩散采样：采用无分类器引导的推理策略，利用输入肖像来更好地保留细节。这一策略使得模型在处理复杂光照条件时，能够生成更具真实性的图像。
通过这些创新，SynthLight模型能够在未见过的图像类别上有效地进行重光照，生成自然且细腻的光照效果，包括皮肤上的高光和阴影。
实验设计与结果分析
本研究通过多个实验设计验证了SynthLight模型的有效性。实验包括：
在合成数据集和光阶段数据集上进行定量评估，使用SSIM、PSNR和LPIPS等标准指标。 用户研究显示，SynthLight在光照准确性、身份保留和整体图像质量等方面均优于现有的重光照方法。 通过多场景的表现，模型展示了在不同环境下生成高质量重光照图像的能力。
结果表明，尽管模型仅在合成数据上训练，但其在真实场景中的表现与最先进的重光照方法相当，甚至在某些方面超越了它们。
结论与展望
SynthLight模型成功地将肖像重光照视为一种重渲染任务，展现了合成数据在这一领域的潜力。模型不仅能够生成强烈的光照效果，还能保持肖像的真实感和细节。未来的工作将集中在进一步提高模型的泛化能力，探索更复杂的光照条件，以及增强用户对光照编辑的直观理解和操作便利性。通过这些努力，SynthLight可能在肖像摄影和其他视觉领域中发挥更大的作用。
Do generative video models learn physical principles from watching videos?
2025-01-14｜INSAIT, Sofia U, Google DeepMind|🔺4
http://arxiv.org/abs/2501.09038v1
https://huggingface.co/papers/2501.09038
https://physics-iq.github.io/
研究背景与意义
在当前深度学习领域，生成视频模型的快速发展引发了对于其理解物理原则能力的广泛讨论。尽管这些模型在生成逼真视频方面取得了显著进展，但是否能够通过观看视频来学习物理规律的能力仍然是一个未解之谜。该研究的核心在于探讨生成视频模型是否能够通过预测视频的下一帧来理解物理原则。通过引入“Physics-IQ”这一基准数据集，研究者们旨在评估这些模型在理解流体动力学、固体力学等方面的能力，从而揭示生成视频模型在物理理解上的局限性。
研究方法与创新
本研究采用“Physics-IQ”基准数据集，该数据集包含396个高质量视频，覆盖了多种物理场景。研究者设计了一系列实验，以评估模型在不同物理原则下的理解能力，主要通过“下一帧预测”任务来进行。这种方法的创新之处在于，它不仅测试模型的模式识别能力，还要求模型具备深层次的物理理解。通过对比现有模型（如Sora、Runway、Stable Video Diffusion等），研究者发现，尽管某些模型在生成视觉上逼真的视频方面表现良好，但其物理理解能力却相对薄弱。
实验设计与结果分析
在实验中，研究者对多种生成视频模型进行了评估，使用了包括空间IoU、时空IoU、加权空间IoU和均方误差（MSE）等多种指标，以全面评估模型的物理理解能力。结果显示，所有评估的模型在物理理解方面均存在显著不足，最高分的模型VideoPoet（多帧）得分仅为24.1%，远低于理想的100%分数。这表明，尽管生成的视频在视觉上可能令人信服，但并不意味着模型具备真正的物理理解能力。
结论与展望
本研究的主要贡献在于通过“Physics-IQ”基准数据集，系统评估了生成视频模型对物理原则的理解能力，并提出了相应的评估指标。尽管当前模型在视觉生成上取得了一定的成功，但它们在物理理解方面仍存在显著的不足。未来的研究应关注如何通过更丰富的训练数据和更复杂的任务设计，提升模型的物理理解能力。此项研究为进一步探索生成模型的物理理解能力提供了重要的基准与方向。
