扩散模型水印
熊成 秦川
1 引言
2 扩散模型简介
图1 基于扩散模型的图像生成
3 扩散模型生成图像水印的研究现状
目前已有很多学者开展了针对扩散模型生成图像的水印方法研究，已报道的成果和方法大致可分为8个方面：1）基于含水印训练数据集的方法；2）基于触发词的水印方法；3）基于扩散模型结构调整的水印方法；4）基于DDIM（Denoising Diffusion Implicit Models[3]）近似可逆特性的水印方法；5）基于VAE图像解码器的水印方法；6）基于扩散模型的后置水印方法；7）基于扩散模型水印的图像数据集保护；8）针对扩散模型水印的攻击。下面将分别对这8个方面的方法进行简要介绍。
3.1 基于含水印训练数据集的方法
3.2 基于触发词的水印方法
3.3 基于扩散模型结构调整的水印方法
3.4 基于DDIM近似可逆特性的水印方法
3.5 基于VAE图像解码器的水印方法
此类方法主要针对潜变量扩散模型，其在生成latent后需要使用图像解码器才能将latent恢复为可正常使用的图像，因此可在此阶段进行水印嵌入。一些研究人员利用需要训练的信息编码器在潜变量扩散模型生成的latent中嵌入水印，并能利用同时训练的信息解码器，从基于VAE的图像解码器恢复的图像中提取出水印信息[15-17]。上海理工大学的团队提出了一种基于信息矩阵的水印方法[18]。具体地，该方法首先利用所提出的信息编码器将水印信息转换为信息矩阵，随后在图像生成阶段，将此信息矩阵插入至图像解码器中，可获得含水印图像，且通过所提出的信息解码器能正确地从生成图像中提取出水印信息。此外，为了防止信息矩阵的使用被逃逸，导致生成高质量的无水印图像，该方法还提出了一种安全策略，即通过动态调整损失函数值的正负性，使得高质量图像只有在信息矩阵被使用的情况下才能生成，如果禁用信息矩阵，则只能生成低质量的噪声图像。Ci等人[19]通过预训练的水印编码器对图像解码器的中间输出进行二次处理实现水印信息的嵌入，最终获得含水印图像，并能由预训练的水印解码器提取出水印信息。
与3.4节中的方法类似，此类方法也可保持扩散模型原有的图像生成性能，在训练方面消耗更少的计算资源。但是因为用于水印嵌入的图像解码器与扩散模型是两个独立的个体，所以攻击者可通过使用开源的原始图像解码器替换微调后的图像解码器，进而生成无水印的高质量图像。
3.6 基于扩散模型的后置水印方法
此类水印方法针对的是已有的原始图像，使用扩散模型的部分特性对这些原始图像进行水印嵌入。Tan等人[20]首先使用语义编码器提取原始图像的语义信息，并利用DDIM的近似可逆特性结合提取的语义信息，对原始图像使用扩散模型进行加噪以获得噪声图像；随后，通过离散小波变换（DWT）将水印信息嵌入至此噪声图像中，并再次使用扩散模型基于此含水印噪声图像与相关语义信息生成最终的含水印图像。在验证阶段，基于DDIM的近似可逆特性，使用扩散模型对含水印图像进行加噪，获得含水印信息的噪声图像，再进行离散小波变换以提取水印信息。文献[21]同样利用了DDIM的近似可逆特性对原始图像进行水印嵌入，但与[20]不同的是，该方法使用的是快速傅里叶变换，且采用的是无条件扩散模型，即无需输入相关语义信息。
虽然利用DDIM的近似可逆特性可以为后置水印方法带来一定的新思路，但与3.4节中的方法一样，进行水印嵌入与提取时使用的扩散模型必须一致，当面临大量由不同扩散模型进行嵌入而产生的含水印图像时，将这些扩散模型准确地与水印图像进行配对存在一定的困难。
3.7 基于扩散模型水印的图像数据集保护
3.8 针对扩散模型水印的攻击
4 展望
面向扩散模型的水印技术发展时间尚短，属于新兴研究方向，还存在诸多亟待解决的问题，未来可能的研究方向包括但不限于：
(1) 增强鲁棒性。受限于模型训练上的困难，当前基于DDIM的图像生成与逆向加噪的水印嵌入与提取在对抗多种图像攻击方面还存在不足，如何增强其鲁棒性对于实际应用而言至关重要；
(2) 提升通用性。随着图像生成的应用范围逐渐扩大，多种不同结构的面向图像生成的扩散模型逐渐被提出，新的水印方法也应能适用于更多样的扩散模型；
(3) 实现扩展性。基于扩散模型的视频、音频以及3D模型等的生成也迎来了飞速发展，因此实现面向除图像外的多种类型数据生成的扩散模型水印同样值得深入研究探索。
参考文献
[1]Jonathan Ho, Ajay Jain, and Pieter Abbeel, “Denoising Diffusion Probabilistic Models,” in Proc. Advances in Neural Information Processing Systems (NeurIPS), pp. 6840-6851, 2020.
[2]Robin Rombach, Andreas Blattmann, Dominik Lorenz, Patrick Esser, and Björn Ommer, “High-Resolution Image Synthesis with Latent Diffusion Models,” in Proc. Conference on Computer Vision and Pattern Recognition (CVPR), pp. 10674-10685, 2022.
[3]Jiaming Song, Chenlin Meng, and Stefano Ermon, “Denoising Diffusion Implicit Models,” in Proc. International Conference on Learning Representations (ICLR), 2021.
[4]Yunqing Zhao, Tianyu Pang, Chao Du, Xiao Yang, Ngai-Man Cheung, and Min Lin, “A Recipe for Watermarking Diffusion Models,” arXiv: 2303.10137. 2023.
[5]Pierre Fernandez, Guillaume Couairon, Hervé Jégou, Matthijs Douze, and Teddy Furon, “The Stable Signature: Rooting Watermarks in Latent Diffusion Models,” in Proc. International Conference on Computer Vision (ICCV), pp. 22409-22420, 2023.
[6]Zihan Yuan, Li Li, Zichi Wang, and Xinpeng Zhang, “Watermarking for Stable Diffusion Models,” IEEE Internet of Things Journal, 2024. DOI: 10.1109/JIOT.2024.3434656.
[7]Zhiyuan Ma, Guoli Jia, Biqing Qi, and Bowen Zhou, “Safe-SD: Safe and Traceable Stable Diffusion with Text Prompt Trigger for Invisible Generative Watermarking,” arXiv: 2407.13188. 2024.
[8]Yugeng Liu, Zheng Li, Michael Backes, Yun Shen, and Yang Zhang, “Watermarking Diffusion Model,” arXiv: 2305.12502. 2023.
[9]Rui Min, Sen Li, Hongyang Chen, and Minhao Cheng, “A Watermark-Conditioned Diffusion Model for IP Protection,” arXiv: 2403.10893. 2024.
[10]Weitao Feng, Wenbo Zhou, Jiyan He, Jie Zhang, Tianyi Wei, Guanlin Li, Tianwei Zhang, Weiming Zhang, and Nenghai Yu, “AquaLoRA: Toward White-box Protection for Customized Stable Diffusion Models via Watermark LoRA,” arXiv: 2405.11135. 2024.
[11]Liangqi Lei, Keke Gai, Jing Yu, and Liehuang Zhu, “DiffuseTrace: A Transparent and Flexible Watermarking Scheme for Latent Diffusion Model,” arXiv: 2405.02696. 2024.
[12]Yuxin Wen, John Kirchenbauer, Jonas Geiping, and Tom Goldstein, “Tree-Ring Watermarks: Fingerprints for Diffusion Images that are Invisible and Robust,” arXiv: 2305.20030. 2023.
[13]Zijin Yang, Kai Zeng, Kejiang Chen, Han Fang, Wei Ming Zhang, and Nenghai Yu, “Gaussian Shading: Provable Performance-Lossless Image Watermarking for Diffusion Models,” arXiv: 2404.04956. 2024.
[14]Jiwen Yu, Xuanyu Zhang, Youmin Xu, and Jian Zhang, “CRoSS: Diffusion Model Makes Controllable, Robust and Secure Image Steganography,” in Proc. Advances in Neural Information Processing Systems (NeurIPS), 2023.
[15]Tu Bui, Shruti Agarwal, Ning Yu, and John P. Collomosse, “RoSteALS: Robust Steganography using Autoencoder Latent Space,” in Proc. Conference on Computer Vision and Pattern Recognition (CVPR) - Workshops, pp. 933-942, 2023.
[16]Zheling Meng, Bo Peng, and Jing Dong, “Latent Watermark: Inject and Detect Watermarks in Latent Diffusion Space,” arXiv: 2404.00230. 2024.
[17]Guokai Zhang, Lanjun Wang, Yuting Su, and An-An Liu, “A Training-Free Plug-and-Play Watermark Framework for Stable Diffusion,” arXiv: 2404.05607. 2024.
[18]Cheng Xiong, Chuan Qin, Guorui Feng, and Xinpeng Zhang, “Flexible and Secure Watermarking for Latent Diffusion Model,” in Proc. ACM International Conference on Multimedia (MM), pp. 1668-1676, 2023.
[19]Hai Ci, Yiren Song, Pei Yang, Jinheng Xie, and Mike Zheng Shou, “WMAdapter: Adding WaterMark Control to Latent Diffusion Models,” arXiv: 2406.08337. 2024.
[20]Yuqi Tan, Yuang Peng, Hao Fang, Bin Chen, and Shutao Xia, “WaterDiff: Perceptual Image Watermarks Via Diffusion Model,” in Proc. International Conference on Acoustics, Speech and Signal Processing (ICASSP), pp. 3250-3254. 2024.
[21]Lijun Zhang, Xiao Liu, Antoni Viros Martin, Cindy Xiong Bearfield, Yuriy Brun, and Hui Guan, “Robust Image Watermarking using Stable Diffusion,” arXiv: 2401.04247. 2024.
[22]Yingqian Cui, Jie Ren, Han Xu, Pengfei He, Hui Liu, Lichao Sun, and Jiliang Tang, “DiffusionShield: A Watermark for Copyright Protection against Generative Diffusion Models,” arXiv: 2306. 04642. 2023.
[23]Peifei Zhu, Tsubasa Takahashi, and Hirokatsu Kataoka, “Watermark-embedded Adversarial Examples for Copyright Protection against Diffusion Models,” arXiv: 2404.09401. 2024.
[24]Yihan Ma, Zhengyu Zhao, Xinlei He, Zheng Li, Michael Backes, and Yang Zhang, “Generative Watermarking Against Unauthorized Subject-Driven Image Synthesis,” arXiv: 2306.07754. 2023.
[25]Yingqian Cui, Jie Ren, Yuping Lin, Han Xu, Pengfei He, Yue Xing, Lingjuan Lyu, Wenqi Fan, Hui Liu, and Jiliang Tang, “FT-Shield: A Watermark Against Unauthorized Fine-tuning in Text-to-Image Diffusion Models,” arXiv: 2310.02401. 2024.
[26]Xiaodong Wu, Xiangman Li, and Jianbing Ni, “Robustness of Watermarking on Text-to-Image Diffusion Models,” arXiv: 2408.02035. 2024.
[27]Yuepeng Hu, Zhengyuan Jiang, Moyang Guo, and Neil Zhenqiang Gong, “Stable Signature is Unstable: Removing Image Watermark from Diffusion Models,” arXiv: 2405.07145. 2024.
[28]Zihan Yuan, Li Li, Zichi Wang, and Xinpeng Zhang, “Ambiguity attack against text-to-image diffusion model watermarking,” Signal Processing, 2024. DOI: 10.1016/J.SIGPRO.2024.109509.
[29]Weitao Feng, Jiyan He, Jie Zhang, Tianwei Zhang, Wenbo Zhou, Weiming Zhang, and Nenghai Yu, “Catch You Everything Everywhere: Guarding Textual Inversion via Concept Watermarking,” arXiv: 2309.05940. 2023.
[30]Weizhi Liu, Yue Li, Dongdong Lin, Hui Tian, and Haizhou Li, “GROOT: Generating Robust Watermark for Diffusion-Model-Based Audio Synthesis,” arXiv: 2407.10471. 2024.
供稿：熊成、秦川，上海理工大学
