香港浸会大学&英伟达 | Geometry Cloak:保护版权图像被 3D 重建(NeurIPS 2024)

文摘   2024-11-25 09:01   北京  


单视图3D重建方法如Triplane Gaussian Splatting (TGS)使得只需单张图像输入即可在几秒钟内生成高质量的3D模型。然而,这种能力引发了潜在的滥用担忧,恶意用户可能会利用TGS从受版权保护的图像中创建未经授权的3D模型。为了防止此类侵权行为,我们提出了一种新颖的图像保护方法,在图像中嵌入不可见的几何扰动,称为“geometry cloak”,然后再将其提供给TGS。这些精心设计的扰动编码了一个定制的信息,当TGS尝试对被保护的图像进行3D重建时,该信息会被揭示。与传统的对抗攻击只是简单地降低输出质量不同,我们的方法迫使TGS以特定方式失败3D重建——生成一个可识别的定制图案作为水印。这个水印允许版权持有者对任何试图从受保护图像进行3D重建的行为主张所有权。

图1: Geometry Cloak


(a) 无保护的图像。这些图像可以被恶意用户通过TGS轻松重建为3D模型,威胁到图像所有者的版权。(b) 数字水印通过在3D重建前将版权信息嵌入到视图图像中提供了一种解决方案。然而,嵌入的信息无法从新渲染的视图中提取。(c) Geometry Cloak。我们的Geometry Cloak利用TGS的易受干扰组件,实现视图特定的水印嵌入。我们的方法可以破坏未经授权的重建3D,同时提供可验证的水印以进行版权声明。


论文信息


相关论文已被 Conference on Neural Information Processing Systems (NeurIPS 2024) 收录。

Qi Song (宋奇), Ziyuan Luo (罗梓源), Ka Chun Cheung, Simon See, Renjie Wan* (万人杰), “Geometry Cloak: Preventing TGS-based 3D Reconstruction from Copyrighted Images”, in Proceedings of NeurIPS, 2024.

项目地址:https://qsong2001.github.io/geometry_cloak/

论文:https://arxiv.org/abs/2410.22705

代码:https://github.com/qsong2001/Geometry-Cloak




供稿:宋奇、万人杰,香港浸会大学    



隐者联盟
本公众号主要推介多媒体、人工智能、信息安全等方面的最新研究进展,愿与同行携手,共同推动科学研究向前发展。
 最新文章