点击下方“PaperEveryday”，每天获得顶刊论文解读
Robust Model Watermarking for Image Processing Networks via Structure Consistency题目：通过结构一致性实现图像处理网络的稳健模型水印
作者：Jie Zhang; Dongdong Chen; Jing Liao; Zehua Ma; Han Fang; Weiming Zhang; Huamin Feng; Gang Hua; Nenghai Yu
源码：https://github.com/eriklindernoren/Fast-Neural-Style-Transfer
摘要
深度网络的知识产权可以很容易地通过替代模型攻击被“窃取”。在保护分类任务中的模型知识产权方面已经取得了显著进展。然而，对于图像处理模型的保护却鲜有关注。通过利用一致的不可见空间水印，工作（张等人，2020年）首次考虑了深度图像处理网络的模型水印，并在许多下游任务中证明了其有效性。其成功依赖于一个假设，即如果所有预测输出中存在一致的水印，则该水印将被学习到攻击者的替代模型中。然而，当攻击者在替代模型训练期间使用常见的数据增强攻击（例如，旋转、裁剪和调整大小）时，它将失败，因为底层的水印一致性被破坏了。为了解决这个问题，我们提出了一种新的水印方法，“结构一致性”，基于此设计了一种新的深度结构对齐模型水印算法。具体来说，嵌入的水印被设计为与物理一致的图像结构对齐，例如边缘或语义区域。实验表明，我们的方法在抵抗数据增强攻击方面比基线更为健壮。此外，我们测试了我们方法对更广泛的自适应攻击的泛化能力和鲁棒性。
关键字
I. 引言
深度学习在许多应用领域取得了巨大成功，包括计算机视觉[2]、自然语言处理[4]和自动驾驶[5]等。然而，由于对大量训练数据和计算资源的需求，训练一个好的DNN模型通常并不容易。最近，由于商业考虑，保护DNN模型的知识产权受到了学术界和工业界的广泛关注。然而，由于其固有的挑战，这仍然是一个严重未被探索的领域。
挑战确实来自于DNN的强大学习能力，这是一把双刃剑。一方面，它使得在不同任务中学习区分性特征表示变得容易，一旦提供了足够的高质量数据。另一方面，攻击者可以使用一个替代模型来模仿一个目标网络的行为，即使网络结构和权重都是未知的。例如，通过云平台上的模型API，攻击者可以首先将大量输入输入API并获取它们的输出。然后攻击者将这些输入-输出对视为训练样本，并提取出一个与教师-学生学习相似的良好替代模型。这种攻击被称为“替代模型攻击”或“模型提取攻击”[6]、[7]。
为了保护模型IP，已经提出了许多方法[8]、[9]。然而，它们中的大多数都集中在分类任务上，并且只考虑了修改基于攻击，如“微调”和“网络修剪”，其中攻击者可以访问受害者模型，包括其参数和架构。最近，工作[1]开始考虑图像处理网络和替代模型攻击的IP保护问题。这项工作的动机非常直接。如图1左半部分所示，它们将一个统一的水印（例如，相同的嵌入位置、水印大小等）嵌入到目标模型的输出中。当攻击者通过使用来自目标模型的输入-输出对来学习替代模型时，替代模型也将学习这个统一的水印到其输出中，以最小化训练损失。考虑到它们的水印本质上是不同嵌入输出中的统一水印图像，我们将其视为“整图一致性”。
![]()
尽管取得了成功，但“整图一致性”可以被常见的增强技术（如随机裁剪和旋转）轻易破坏，这在扩展工作[10]中被解释为一个很大的限制。原因如图1右半部分所示。在这种增强情况下，替代模型无法找到一致的水印模式，因此直接将其视为随机噪声，通过考虑所有训练样本来忽略它。
为了解决上述限制，我们在本文中提出了一种新的水印方法，它本质上对数据增强是鲁棒的。而不是追求上述的整图一致性，我们设计了“结构一致性”，将水印模式与图像结构耦合。这是受到这样一个事实的启发，即一些全局结构，如边缘，或局部语义结构，如面部的“眼睛”，在增强后仍然保持其物理意义。如果我们将水印信息嵌入到这些结构中，水印一致性就可以自然地保持。基于这一观察，我们设计了一个结构对齐的水印方案，它将水印信息编码到恒定的颜色值中，并将它们填充到上述结构区域中，作为一种特殊类型的水印。
整体模型水印框架如图3所示。它基本上由四个模块组成：一个水印比特编码器将水印比特编码为结构对齐的水印，一个嵌入网络学习将结构对齐的水印嵌入到封面图像中，而不影响原始视觉质量，一个提取网络尝试从水印图像中提取隐藏的水印，以及一个最终的解码器来解码恢复的比特。为了取证的完整性，提取网络将对所有未水印的图像输出一张空白图像。然而，训练这样一个框架以实现出色的性能并不是一项简单的任务，因为隐藏的水印信息在不同的增强下很容易被破坏。为了克服这个问题，我们进一步设计了一个增量训练策略，逐步添加新的增强操作符或损失约束。广泛的实验证明了我们方法的优越性能和鲁棒性。
III. 预分析和动机
“整图一致性”的回顾：给定一个输入域和一个目标输出域，成对的深度图像处理是为了学习一个好的目标模型，使得可以在一些预定义的距离度量下接近：。
对于替代模型攻击，这意味着给定一个目标，攻击者不知道其详细的网络结构和权重，但可以访问以获得大量的输入-输出对。由于攻击者可能使用的输入集与使用的输入集不同，我们将生成的输入-输出对表示为和。然后攻击者将使用这些对来训练一个替代模型。[1]、[10]的工作原理基于这样一个假设，如果可以学习到和L(SM(a_i), b_i) \rightarrow 0 \Leftrightarrow L(SM'(a'_i), b_i + \delta) \rightarrow 0$$由于深度网络的拟合和损失最小化属性，可以通过添加跳过连接轻松地学习为。由于是在不同输出中嵌入的统一水印图像，我们称其为“整图一致性”。对数据增强的脆弱性：尽管有效，但它有一个严重的限制，如[10]中所承认的，即上述“整图一致性”对数据增强技术不鲁棒，而这些技术通常用于训练DNN。因为数据增强会破坏底层的水印一致性，这是[1]、[10]的基础。为了保持一致性，一种直观的方法是使用如图2所示的重复水印模式，并使用不同的增强操作符训练框架。然而，我们发现它仍然不可行。简而言之，无法从替代模型的输出中提取出水印模式，所有情况下的成功提取率（SR）为0%。因为即使水印模式是重复的，它在增强过程中仍然会发生变化，例如在裁剪期间的位置偏移和旋转期间的方向变化。![]()
结构一致性：如上所述，如果我们希望吸收水印，必须能够在数据增强下保持一致性。一个简单的解决方案是让成为一个纯色图像，具有恒定的像素值。然而，这种纯色水印图像对卷积水印提取网络不友好。因为如果提取网络需要为不同的水印图像提取这样的恒定，卷积权重将被学习为全零，只有偏置项非零。这样，即使给出一个未水印的图像，它也会输出，这失去了取证的意义。因此，我们采取了一种更高级的方法：使水印模式与图像结构一致。这是受到这样一个观察的启发，即一些全局结构，如边缘，或一些局部语义结构，如面部的“眼睛”，是内容相关的，并且在常见的数据增强技术下可以保持其物理意义，我们称这种一致性为“结构一致性”。通过进一步将水印信息编码到特定颜色值中，并将它们填充到这些一致的结构中，我们可以为每个生成结构对齐的水印。在增强期间，将自适应地随着变化，并保持与结构的对齐。因此，仍然有可能基于这种结构一致性吸收。IV. 结构对齐模型水印
概述
基于上述结构一致性分析，我们提出了图3中所示的结构对齐模型水印算法。基本目标是学习一个好的嵌入网络HNet和相应的提取网络EXNet。HNet负责将结构对齐的水印嵌入到封面图像中以生成水印图像，而EXNet负责提取嵌入的水印。为了使HNet和EXNet能够抵抗不同的增强操作，我们在它们之间插入了一个增强层并共同训练。训练完成后，给定一个要保护的目标模型，我们将它的输出输入HNet，然后才公开。通过这种方式，攻击者获得的输出将被水印。如果用这样的输入和水印输出对训练了一个替代模型，EXNet仍然可以从替代模型的输出中提取目标水印以进行取证。此外，使用一个比特编码器和解码器分别对水印比特进行编码/解码。下面我们将详细说明每一部分。为了便于演示，我们将在下面使用作为的替代。![]()
水印比特编码器和结构提取器
我们建议在这些结构中填充恒定的RGB值，以确保在增强过程中物理结构的一致性。以常见的8位颜色空间为例，每个颜色通道（“红色”、“蓝色”和“绿色”）的值范围将是[0, 255]。假设用于编码的颜色步长是，则可能的像素值总数等于（255作为未水印的指示器）。
因此，最大水印比特序列长度是。在实际应用中，水印比特序列S代表我们想要嵌入的IP信息，例如公司名称、模型ID和版本。给定S，我们可以使用一些简单的数学编码方案（例如，哈希函数）将S映射到一个特定的颜色值。详细的物理结构格式可能根据具体任务而有所不同。例如，我们可以使用全局边缘作为一般自然图像的物理结构，对于面部图像，使用局部语义区域如“眼睛”或“鼻子”。在以下实验中，我们将尝试三种不同类型的物理结构来证明我们方法的通用性。默认情况下，我们使用著名的Sobel边缘算法来提取全局边缘作为物理结构。结构对齐模型水印
在获得编码颜色和结构图之后，我们用填充以产生结构对齐的水印：这里，意味着将填充到的掩模值为1的区域，否则填充空白颜色（R：255,G：255,B：255）。由于我们希望HNet能够处理不同的而不是为每个可能的使用一个独立的HNet，我们在训练期间随机采样不同的。在获得后，我们将原始封面图像与沿通道维度进行连接，并将它们输入HNet以获得水印图像。为确保对不同增强操作符的鲁棒性，将被随机处理一个或多个增强操作符，然后输入提取网络EXNet。然后，我们将使用水印图像的水印结构恢复隐藏的颜色值。最后，原始的水印比特序列将从恢复的颜色值中解码。网络结构
为了公平比较，我们遵循[1]并采用UNet[22]作为我们的HNet。它是一个自动编码器式的网络结构，在编码器和解码器部分之间添加了多个跳跃连接，这在许多图像翻译任务中被广泛使用。对于提取网络EXNet，我们也采用自动编码器式的网络结构。具体来说，使用三个卷积层作为编码器，一个反卷积层和两个卷积层作为解码器。在编码器和解码器之间进一步插入了几个残差块以增强其学习能力。为了帮助实现更好的视觉质量，我们利用一个补丁判别网络D[18]进行对抗训练。损失函数
其中是超参数，用于平衡它们的重要性。是确保水印图像的视觉质量，而是确保隐藏的水印可以成功提取出来。因此，一个过大的会导致视觉质量差但更高的提取成功率，而一个过小的会获得高视觉质量的水印图像，但隐藏的水印太弱而无法提取。嵌入损失有两个部分：一个简单的损失和一个对抗损失，即，损失测量输入封面图像和水印输出图像之间的像素差异。也就是说，我们希望水印图像在视觉上与原始未水印图像相似，以便攻击者甚至不知道目标模型的输出是否被水印：这里，和分别代表未水印和水印图像集。判别损失将鼓励嵌入网络HNet更好地隐藏水印，以便判别器D无法将其输出与真实的未水印图像区分开来，为了有效的取证，除了要求EXNet能够从水印图像中提取出隐藏的水印外，我们还需要EXNet不为未水印图像提取出水印。因此，提取损失包括两个项：一个针对水印图像和一个针对未水印图像的：其中代表常数图像，所有像素值为(R：255,G：255,B：255)，用于未水印图像。为了平衡水印和未水印区域的损失贡献，一个自适应权重将被添加到水印区域。正式地，定义为：如前所述，代表物理结构区域，是背景区域，表示真实的水印。权重取决于物理结构区域与总图像区域的比例。比例越小，权重越大。在我们的实现中，是在一组训练图像上预先计算的，以确保。为了增强EXNet从替代模型的输出中提取水印的能力，我们还添加了一个对抗训练阶段，如[1]中所述。具体来说，使用一个简单的替代网络来模拟攻击者的行为，然后通过将这个替代模型的输出添加到其训练集中来微调EXNet。这个阶段可以被视为模型处理中的一种特殊增强操作。增量训练策略
与[1]不同，我们假设水印图像保持不变，我们的案例中水印图像将在不同类型数据增强下处理。一些增强操作将显著改变原始隐藏水印的统计特性，使其更难被提取。为了抵抗不同的增强操作，我们将这些增强操作符添加到训练过程中，形成一个增强层。我们发现，从零开始同时训练所有操作符的系统是具有挑战性的。为了减少学习难度，我们提出了一种增量训练策略，通过逐步添加增强操作符，直到前一个操作符收敛。对于目标损失函数，我们只使用中的损失项来约束HNet，直到所有增强操作符都被添加，然后添加对抗损失来微调HNet，以实现更好的视觉质量。在消融研究中，将研究这种训练策略的有效性。此外，我们在补充材料中澄清了与基线方法[1]的关系，可在线获取。V. 实验
A. 实验设置
提出的方法可以广泛用于许多不同的商业系统进行知识产权保护，例如医学图像处理和遥感图像增强。由于缺乏大型公共数据集，我们尝试了[1]中使用的两个示例图像处理任务（去雨，X射线胸片去骨）以及一个新的艺术肖像生成（APG）任务来证明我们方法的有效性。数据集、超参数和增强设置的细节在附录中提供，可在线获取。由于资源和空间考虑，我们主要使用去雨任务进行比较和消融研究。为了比较，由于基线方法[1]是迄今为止唯一有效的方法，其他传统水印类型已经在[1]、[10]中被证明是无效的，我们只将我们的方法与[1]进行比较。恢复颜色值：给定一个提取的水印，我们直接使用一个简单的算法来恢复隐藏的颜色值：提取水印图像的结构作为位置指导，并计算每个颜色通道的平均值作为颜色值。评估指标：PSNR和SSIM被用作默认的视觉质量指标。对于提取性能，我们定义不同颜色通道恢复的最大颜色值误差为实际误差值，并将绝对误差值阈值设置为10（|TH|=10），即，t=20和比特被嵌入。当误差值在阈值范围内时，我们将其定义为成功提取。成功提取率（SR）是成功提取图像的比例。由于水印机制的差异，我们仍然使用[1]中引入的NC值来衡量基线方法。与NC值相比，我们的指标更严格。B. 比较实验
水印图像和提取图像的结果：为确保水印嵌入网络HNet能够将结构对齐的水印嵌入到封面图像中，并保证水印图像在视觉上与相似，我们首先评估测试数据集上水印图像和原始干净图像之间的PSNR和SSIM值。结果表明，我们的方法可以获得视觉上难以区分的水印图像，PSNR值为37.86，SSIM值为0.97。尽管与基线方法（PSNR 37.86对39.98；SSIM 0.97对0.99）相比存在轻微的性能下降，但由于获得了所需的鲁棒性，这是可以接受的。图4的第一行展示了一个示例视觉结果。可以看出，我们的方法可以在保证水印图像高视觉质量的同时，提取出未增强和增强图像中的隐藏水印。需要注意的是，最终用户只能看到而看不到。![]()
对不同类型替代模型攻击的鲁棒性：为了与[1]进行公平比较，我们遵循其设置，通过使用不同网络结构和损失函数的替代模型来评估对替代模型攻击的鲁棒性。具体来说，使用了四种不同的网络结构：仅由几个卷积层组成的普通卷积网络（“CNet”），带有9和16个残差块的自动编码器式网络（“Res9”，“Res16”），以及前述的UNet网络（“UNet”）；对于客观损失函数，采用了L1、L2、感知损失Lperc、对抗损失Ladv及其组合。默认情况下，使用“UNet”和L2损失的SM模型在对抗训练阶段，因此这种配置可以被视为白盒攻击，所有其他配置都是黑盒攻击。由于计算资源考虑，我们遵循[1]并通过控制实验分别展示了对网络结构和损失函数的鲁棒性。具体来说，对于不同网络结构的比较，SM模型仅用L2损失进行训练。对于损失函数的比较，默认情况下SM模型采用UNet。以下，我们考虑两种不同的训练设置：不使用数据增强[1]和使用数据增强。不使用数据增强：在这个理想设置中，攻击者不预处理收集的输入-输出对。如表I所示，我们的方法和基线方法[1]在对抗训练阶段对不同的替代网络和损失函数都具有鲁棒性。但是如果没有对抗训练阶段，我们的方法仍然可以在大多数情况下获得相当好的结果，而基线方法[1]几乎失败。在这个意义上，我们的结构一致性比整图一致性更鲁棒。对于没有数据增强的Lperc结果，如果通过增加|TH|到20（也比基线使用的NC指标更严格）放宽验证指标，我们的方法具有更高的SR（98%）比基线（86%）。![]()
使用数据增强：在这个更现实的攻击场景中，攻击者将使用数据增强操作符来训练替代模型SM。如表I所示，我们的方法在大多数情况下在对抗训练后成功，而基线方法[1]即使集成了增强层并在对抗训练后（标记为‡）也完全失败，无论使用何种网络结构或损失函数。具体来说，我们在大多数情况下将成功率从0%显著提高到90%以上（确实是“显著改进”）。我们还观察到，额外的对抗训练阶段在这种具有挑战性的数据增强案例中非常重要。在图6的前两行中，我们提供了从学习到的替代模型的输出中提取水印的一些视觉结果。显然，在数据增强之后，基线的替代模型无法再将水印学习到其输出中。与基线[1]的复杂性比较：如上所述，我们采用了与基线[1]相同的架构进行嵌入和提取。因此，如表II所示，模型大小（59.3 M）和推理时间（0.007 s对于256×256输入）是相同的。由于增量训练策略，我们方法的训练时间比基线长，例如，在去雨任务上为81小时对33小时。在图5中，我们还展示了两种方法的损失曲线，但这并不是一个一对一的比较，因为损失设计不同。![]()
C. 消融研究
超参数和增强设置的影响：我们通过使用不同的值进行了简单的消融研究。如表III（"|TH|"表示绝对误差值阈值）所示，较小的将产生更高的视觉质量但较低的SR值。因此，我们默认选择。此外，较低的|TH|意味着可以嵌入更多的水印比特。我们进一步在表IV中展示了在不同|TH|值下的SR。正如预期的那样，当嵌入更多的水印比特时，观察到SR下降。对于增强设置的影响，实验结果表明，所有的增强都对鲁棒性很重要。例如，如果不使用调整大小，平均SR率为78%，低于使用所有增强时的100%。除了在增量学习中提到的默认增强顺序外，我们还尝试了其他顺序组合，它们也表现良好（所有情况下的SR率为100%）。![]()
![]()
增量训练策略的重要性：如上所述，从零开始同时训练所有增强操作和损失非常困难。因此，采用了增量训练策略。为了证明其必要性和优越性，我们尝试不采用增量训练策略而是从零开始训练框架，并在图7中展示了两个水印图像。显然，这种从零开始的设置遭受了严重的颜色漂移问题。相比之下，使用提出的增量训练策略效果非常好。![]()
D. 泛化能力
除了去雨任务，我们进一步将我们的框架应用于[1]中提到的X射线胸片去骨任务。我们选择了另一个著名的Canny边缘算法来提取全局边缘作为物理结构。我们还尝试了另一个有趣的图像处理任务，称为艺术肖像生成（APG）。给定一个真实的面部图像，APG将其转换为铅笔素描风格。为了证明结构一致性的泛化能力，我们将语义“眼睛”区域视为物理结构。然后提取网络需要自动识别这个语义结构并自动提取隐藏的水印，这比基于全局边缘的物理结构更具挑战性。视觉质量：在图4的最后两行中，我们还提供了去骨任务和APG任务的视觉示例。对于定量评估，我们进一步计算了水印图像和相应测试数据集上原始干净图像之间的PSNR和SSIM值。去骨和APG的PSNR/SSIM值分别为44.99/0.99和37.73/0.99。对替代模型攻击的鲁棒性：在这里，我们只考虑更具挑战性的情况，即使用数据增强的替代模型攻击。如表V所示，在大多数情况下，它在去骨任务和APG任务上都能实现很高的提取鲁棒性。注意，当用Lperc训练替代模型时，替代模型本身会产生较差的APG结果，因此在这些情况下SR不好。更多的实验结果在补充材料中提供，可在线获取。在图6的最后两行中，我们提供了两种应用的一些视觉结果。可以看出，我们的框架对不同的物理结构都表现得很好，并且适用于不同的任务。![]()
E. 额外的鲁棒性
对其他增强攻击的鲁棒性：如前所述，我们默认只考虑无损质量增强，并假设替代模型使用的所有训练对都是我们目标模型的输出。但像军备竞赛一样，攻击者可能会用部分有害质量增强数据或自标记数据来训练替代模型，以破坏一致性约束并移除水印。为了模拟这种行为，我们将一些通过6种代表性有害质量增强技术增强的水印数据和一些未水印数据混合到替代模型的训练数据集中。具体来说，我们添加了高斯噪声（）并使用高斯滤波器（）模糊图像。对于基于颜色的增强，饱和度和对比度的偏移范围都是，色相变化范围是。风格迁移的实现基于[23]的开源代码，具体采用了“星夜”的风格。在表VI中，考虑了两种混合比例（10%/50%）。令人惊讶的是，尽管在新引入的数据中破坏了一致性约束，我们的方法仍然可以非常好地抵抗替代模型攻击，即使添加了50%的自标记干净数据。注意，我们这里没有重新训练我们的框架。更多的视觉结果和对增强攻击的鲁棒性分析可以在补充材料中找到，可在线获取。![]()
对更多自适应攻击的鲁棒性：除了数据增强攻击外，攻击者可能会考虑更多策略来自适应地移除模型水印。首先，我们考虑了Neural Cleanse[24]，它以逆向工程水印模式而闻名。但由于我们的方法是基于全局和结构对齐设计的，它不满足其假设，即水印在位置和模式上都是输入不可知和静态的，因此它完全失败了。其次，我们假设攻击者收集了少量干净（未水印）数据对，并进行监督微调。结果表明，即使用相同大小的干净数据进行微调，我们的EXNet仍然可以以78%的成功率工作。此外，我们还对被盗的替代模型进行了模型剪枝。与分类模型不同，当只有30%的参数被剪枝时，替代模型的性能会大幅下降（PSNR：从32.02下降到28.41）。在这种情况下，我们只获得了6%的成功率。然而，如果我们将绝对误差值阈值（TH）从默认的10调整到25，我们可以再次获得理想的成功率（86%）。第三，我们考虑了攻击者拥有未配对的干净数据，并使用域对抗损失（水印与非水印图像）来训练替代模型的情况。在这种情况下，提取成功率下降到43%，但这仍然是可以接受的。此外，这样做会损害替代模型的性能（PSNR：从32.02下降到28.9），使得攻击的意义减少。最后，我们考虑了我们方法对水印覆盖的鲁棒性。与传统媒体水印类似，覆盖问题可以通过水印法律协议来解决。另一方面，在覆盖之后，我们的方法仍然可以提取出原始水印，并且替代模型的性能会大幅下降，这与基线[1]、[10]相似。VI. 结论
从对[1]的模型水印方案的深入分析开始，我们发现整图一致性的脆弱性是为什么这个水印框架无法抵抗数据增强攻击的根本原因。为了克服这个限制，我们提出了一种新的水印方法，“结构一致性”，基于此设计了一种新颖的鲁棒结构对齐模型水印算法。实验表明，“结构一致性”可以在全球和局部（语义）方式中使用，并在抵抗数据增强攻击和其他自适应攻击方面取得了更好的鲁棒性。声明
本文内容为论文学习收获分享，受限于知识能力，本文对原文的理解可能存在偏差，最终内容以原论文为准。本文信息旨在传播和学术交流，其内容由作者负责，不代表本号观点。文中作品文字、图片等如涉及内容、版权和其他问题，请及时与我们联系，我们将在第一时间回复并处理。你是否有这样的苦恼：自己辛苦的论文工作，几乎没有任何的引用。为什么会这样？主要是自己的工作没有被更多的人了解。
计算机书童为各位推广自己的论文搭建一个平台，让更多的人了解自己的工作，同时促使不同背景、不同方向的学者和学术灵感相互碰撞，迸发出更多的可能性。 计算机书童 鼓励高校实验室或个人，在我们的平台上分享自己论文的介绍、解读等。
稿件基本要求：
• 文章确系个人论文的解读，未曾在公众号平台标记原创发表，
• 稿件建议以 markdown 格式撰写，文中配图要求图片清晰，无版权问题
投稿通道：
• 添加小编微信协商投稿事宜，备注：姓名-投稿
![]()
△长按添加 PaperEveryday 小编
