图像与视觉技术创新：可重光照和可驱动的全身头像；遥感图像像素级感知；提高VLLM三维感知理解能力；基于长视频的VTON

Relightable Full-Body Gaussian Codec Avatars

2025-01-24｜ETH Zürich, Meta - Codec Avatars Lab, U Tübingen|🔺5

http://arxiv.org/abs/2501.14726v1
https://huggingface.co/papers/2501.14726
https://neuralbodies.github.io/RFGCA

研究背景与意义

在计算机视觉和图形学领域，构建可驱动的全身头像一直是一个长期存在的挑战。早期的方法主要集中在重建人体的几何形状和外观，以实现自由视角渲染和视频播放。然而，这些方法在应对新照明条件下的动画表现方面存在局限性。近年来，研究者们开始探索内在属性的恢复，以支持动画和重光照的能力，但仍面临许多挑战，例如复杂的光传输和身体姿态引起的形状变形。

本论文提出了一种新颖的“可重光照全身高斯编解码器头像”模型，旨在高保真地重建和动画化全身头像，包括身体、面部和手部的细节。研究的关键在于如何有效地处理全身关节的复杂性以及光传输对外观的影响。通过引入可学习的区域谐波和延迟着色技术，研究者们希望解决现有方法在处理全身头像时的不足。

研究方法与创新

本研究的核心在于提出了一种新的全身头像建模方法，结合了高斯分布和学习的光传输函数。具体来说，研究者们采用了以下创新点：

1. 局部光传输模型：使用可学习的区域谐波来表示局部光散射，避免了传统球谐函数在处理全身关节时的局限性。这种方法允许在局部坐标系中高效地旋转光传输函数，从而更好地捕捉各种姿态下的光照效果。

2. 阴影网络：引入一个专门的阴影网络，用于预测因身体部位之间的遮挡而产生的非局部阴影。这一创新显著提高了模型在复杂光照条件下的表现，尤其是在处理动态场景时。

3. 延迟着色技术：采用延迟着色方法来建模高质量的镜面反射，使得在不显著增加高斯数量的情况下，仍能实现高保真的光照效果。这一方法有效地提升了面部区域的反射细节，克服了传统方法在处理高光区域时的不足。

通过这些创新，研究者们展示了该模型在新照明条件和未见姿态下的优越泛化能力，显著提升了全身头像的重光照和动画效果。

实验设计与结果分析

本研究通过多种实验设计来验证所提方法的有效性，主要包括：

1. 数据集构建：使用多摄像头光照舞台捕获多个序列，确保了实验数据的多样性和代表性。数据集包含完全点亮和部分点亮的帧，以便于对比分析。

2. 性能评估：通过与现有基准方法的对比，量化模型在重光照和动画任务中的表现。结果表明，所提方法在重光照的真实感和动画的流畅性上均优于传统方法。

3. 多场景表现：在不同环境光照条件下进行测试，展示了模型在各种复杂场景中的适应能力和稳定性。

结论与展望

本研究成功提出了一种新的全身头像建模方法，显著提高了在复杂光照条件下的重光照和动画效果。尽管取得了一定的进展，但仍存在一些局限性，例如在极端光照条件下的表现可能不足。未来的工作可以集中在进一步优化光传输模型和增强模型的实时渲染能力上，以适应更广泛的应用场景。

通过对这一领域的深入研究，期望能推动全身头像技术在虚拟现实、游戏和动画制作等领域的应用，为用户提供更加真实和沉浸的体验。

GeoPixel: Pixel Grounding Large Multimodal Model in Remote Sensing

2025-01-23｜MBZUAI, UWA, Linköping U, ANU|🔺3

http://arxiv.org/abs/2501.13925v1
https://huggingface.co/papers/2501.13925
https://github.com/mbzuai-oryx/GeoPixel

研究背景与意义

在当前的多模态模型（LMMs）研究中，细粒度的视觉理解被认为是提升视觉理解和对话能力的关键。然而，现有的LMMs在遥感（RS）领域的应用效果不佳，主要受限于遥感图像的独特特点，如俯视角度、尺度变化以及小物体的存在。这些因素使得区域级理解变得极具挑战性。本文提出的GeoPixel模型旨在填补这一空白，通过支持像素级的视觉感知，提供高分辨率遥感图像的细粒度理解。GeoPixel不仅解决了现有模型在遥感数据上性能不足的问题，还通过建立一个视觉基础的数据集GeoPixelD，为模型的训练和评估提供了坚实基础。

研究方法与创新

GeoPixel的核心创新在于其端到端的架构，能够处理高分辨率的遥感图像并实现像素级的地面理解。具体而言，GeoPixel采用了动态图像分割策略，将输入图像划分为局部补丁和全局视图，利用预训练的视觉编码器提取特征。这一方法不仅增强了模型对高分辨率图像的处理能力，还通过引入新的[SEG]标记，支持生成详细的分割掩膜。

此外，GeoPixelD数据集的构建是该研究的另一个重要创新。该数据集包含了丰富的层次化注释，结合了场景层级的上下文信息和局部物体级的细节，极大地提升了模型在遥感图像分析中的表现。通过与现有模型的对比实验，GeoPixel在多目标分割任务中显示出显著优势，尤其是在处理复杂场景时。

实验设计与结果分析

在实验设计上，GeoPixel的性能评估包括两个主要任务：遥感图像的地面对话生成（RS-GCG）和图像分割（RRSIS）。在这两个任务中，GeoPixel均表现出优越的性能。具体而言，在RS-GCG任务中，GeoPixel在CIDEr、METEOR等多个指标上均超越了现有的基准模型，证明了其在生成上下文丰富的描述方面的能力。

在RRSIS任务中，GeoPixel的分割准确率和召回率也显著高于其他模型，尤其是在处理复杂的遥感图像时，能够准确识别和分割图像中的多个对象。这些结果表明，GeoPixel在细粒度视觉理解和多模态任务中的有效性，进一步验证了其设计理念的成功。

结论与展望

GeoPixel作为一个专为高分辨率遥感图像分析设计的LMM，展示了其在细粒度视觉理解方面的强大能力。尽管目前已取得显著成果，但仍面临一些挑战，例如在复杂场景中的遮挡和混淆问题。未来的研究可以集中在改进模型的掩膜策略和动态分辨率调整技术，以进一步提升分割精度。此外，扩展GeoPixel的能力，集成更多的多模态数据（如合成孔径雷达或红外图像），将为遥感领域的研究开辟新的可能性。

Multiview Equivariance Improves 3D Correspondence Understanding with Minimal Feature Finetuning

2024-11-29｜Stanford, USC|🔺1

http://arxiv.org/abs/2411.19458v1
https://huggingface.co/papers/2411.19458
https://github.com/qq456cvb/3DCorrEnhance

研究背景与意义

在计算机视觉领域，理解三维空间关系一直是一个重要的挑战。传统的相机系统仅能从单一视角捕捉图像，限制了对三维世界的全面理解。人类的感知能力展现了视角等变性（view equivariance）的特征，使得我们能够在不同视角下依然准确识别物体和空间关系。尽管近年来基于视觉的基础模型（如ViT）在二维图像理解上取得了显著进展，但它们在三维空间关系的理解上仍显不足。

该论文通过系统评估现有视觉模型对三维等变特征的学习能力，提出了增强这些模型三维意识的有效策略。研究表明，提升三维等变性可以显著改善下游任务的表现，如姿态估计、视频跟踪和语义对应等。这一发现不仅为理解视觉模型的三维能力提供了新视角，也为后续研究指明了方向。

研究方法与创新

本研究的核心创新在于提出了一种简单而有效的微调策略，旨在增强基于ViT模型的三维对应理解能力。具体方法如下：

1. 三维特征评估：通过引入一个三维等变性评估基准，系统地评估现有视觉变换器在不同视角下生成的特征一致性。
2. 微调策略：在训练过程中，随机选择同一物体的两个不同视角，应用SmoothAP损失函数来强制对应像素之间特征的一致性。该方法在仅进行少量迭代（如一次迭代）时，便能显著提高模型的性能。
3. 实验验证：通过在多个三维任务（如姿态估计、视频跟踪和语义对应）上进行实验，验证了所提微调方法的有效性，DINOv2模型在这些任务中表现出色。

实验设计与结果分析

实验设计包括对多个主流视觉变换器（如DINOv2、CLIP等）的评估，采用了丰富的多视角数据集（如Objaverse和MVImgNet）进行训练和测试。研究结果显示：

• 三维等变性与任务表现的相关性：模型在三维等变性评估中的表现与下游任务的成功率呈现出显著的正相关。
• 微调效果的显著性：通过微调，所有测试模型在三维任务上均有显著提升，尤其是DINOv2在姿态估计上提升了9.58（3cm-3deg），在视频跟踪和语义对应任务上也取得了相应的性能提升。

结论与展望

本研究系统评估了大型视觉模型的三维意识，提出了一种有效的微调方法来增强其三维对应理解能力。研究结果表明，三维等变性在视觉模型中扮演着重要角色，显著影响下游任务的表现。未来的研究可以进一步探索如何在更复杂的场景中应用这一方法，以推动视觉模型在三维理解领域的进一步发展。此外，所有代码和资源将公开，以支持未来在这一领域的研究。

CatV2TON: Taming Diffusion Transformers for Vision-Based Virtual Try-On with Temporal Concatenation

2025-01-20｜SYSU, NUS, Pixocial Technology, Pengcheng Lab|🔺0

http://arxiv.org/abs/2501.11325v1
https://huggingface.co/papers/2501.11325
https://github.com/Zheng-Chong/CatV2TON

研究背景与意义

在快速发展的图像和视频合成技术背景下，基于视觉的虚拟试穿(VTON)技术逐渐成为在线零售领域的重要工具。这项技术能够实现对图像和视频中服装的真实视觉化，提升消费者的购物体验。然而，现有方法在处理静态和动态场景时，尤其是在长视频场景中，常常面临质量下降和一致性不足的挑战。因此，本研究的目标是开发一种统一的虚拟试穿方法，能够有效解决这些问题，进而推动VTON技术的应用和发展。

研究方法与创新

本研究提出了CatV2TON，一种基于扩散变换器的虚拟试穿框架，能够同时支持图像和视频的试穿任务。该方法的创新点在于：

1. 时间拼接输入：通过将服装和人物输入进行时间拼接，CatV2TON能够更好地捕捉动态信息，从而提高视频生成的质量。
2. 重叠片段推理策略：在生成长视频时，采用重叠片段推理策略，利用前一帧作为指导，确保生成过程中的时间一致性。
3. **自适应片段归一化(AdaCN)**：在生成过程中引入AdaCN技术，以减少资源需求并保持时间一致性，解决了长视频生成中的色彩失真和运动不一致问题。

这些创新使得CatV2TON在多个基准测试中表现优异，尤其是在静态和动态场景下的试穿任务中。

实验设计与结果分析

实验部分，研究团队设计了多种实验来验证CatV2TON的有效性。通过定量和定性评估，结果显示：

1. 数据集构建：构建了ViViD-S数据集，经过过滤和质量提升，确保了训练数据的高质量。
2. 性能评估：在VITON-HD和DressCode等数据集上进行的比较实验表明，CatV2TON在图像和视频试穿任务中均优于现有的基线方法，尤其在生成质量和一致性方面。
3. 多场景表现：实验结果显示，CatV2TON能够在不同类型的试穿场景中保持高质量的生成效果，展示了其广泛的应用潜力。

结论与展望

本研究通过提出CatV2TON，展示了一种有效的虚拟试穿解决方案，解决了静态与动态场景中的一致性问题。尽管取得了一定的成就，但仍存在一些限制，例如在视频生成中对物理规律的严格遵循不足。未来的研究可以集中在提高视频生成的清晰度和质量上，同时探索更大规模的数据集，以进一步提升模型的性能和适用性。