作者：李想
封面（图片来自于网络）
研究背景
对抗性（Adversarial）现象在机器学习 (Machine Learning) 系统中已经被广泛观察到，特别是在使用深度神经网络的机器学习模型中，描述了 ML 系统在某些特定情况下可能会产生与人类不一致且难以理解的预测。 这种现象对机器学习系统的实际应用构成了严重的安全威胁，当前研究人员开发了几种先进的攻击范式来探索它，主要包括后门攻击（Backdoor Attacks）、权重攻击（Weight Attacks）和对抗性样本（Adversarial Examples）等。 对于每个单独的攻击范式，已经开发了各种防御范式，以提高机器学习模型的鲁棒性。 然而，由于这些防御范式的独立性和多样性，很难检验机器学习系统针对不同类型攻击的整体鲁棒性。与传统的研究角度不同，本文从数学、经济学和计算机科学的交叉方向切入，讨论基于博弈论的对抗性机器学习（Adversarial Machine Learning）的相关研究。
图1 对抗性机器学习防御方法的分类
研究方法
博弈论为理性参与者之间的策略互动提供了一个研究框架。一般来说，机器学习模型和攻击者之间的关系类似于两人博弈，而在对抗性机器学习问题的建模中，我们有如下几个问题需要解决。
图2 对抗性机器学习
首先，我们需要决定建模博弈的最佳方式。我们可以将对抗性机器学习问题建模为严格竞争的游戏，其中两个玩家具有截然相反的偏好，这意味着一个玩家的收益就是另一个玩家的损失。这种类型的游戏被称为零和游戏，其中总收益始终为零。由于玩家的收益最大化与另一玩家的收益最小化是相同的，因此，在对抗性学习的博弈中，机器学习模型的最优策略问题是攻击者最优策略的对偶问题。除此以外，我们也可以通过假设两个玩家只对最大化自己的收益感兴趣来对博弈进行建模，其中两个玩家不一定具有完全相反的利益。因此，我们的目标是寻找一种均衡状态，让双方都发挥自己的最佳策略。
图3 零和博弈
除了严格的竞技性考虑之外，我们还需要考虑到玩家在博弈中的角色。我们可以通过假设机器学习模型和攻击者同时做出决定来对游戏进行建模，即同时博弈（Simultaneous Game），其中每个玩家在不知道对手正在采取的策略的情况下选择自己的策略。另一方面，肯定存在这样的情况：一个玩家可能领先（Leader），而另一个玩家在了解领导者的策略选择后，通过对领导者采取最佳策略来跟随（Follower），即序贯博弈（Sequential Game）。例如，一旦提供电子邮件服务，垃圾邮件过滤器（机器学习模型）就会被启动。垃圾邮件发送者（攻击者）可以通过发送消息供垃圾邮件过滤器进行标记来研究垃圾邮件过滤器。
图4 序贯博弈
在更现实的环境中，机器学习模型还可能面对多种未知类型的对手。在这种类型的对抗性学习问题中，机器学习模型成为多个追随者的领导者。因此，该博弈被称为单领导者多追随者 (SLMF) 博弈，这将会是一个更复杂的情况。
最后，我们需要解决的问题是博弈最终是否稳定以及博弈是否存在均衡解，从而进行相应的机制设计。
研究结论
目前，博弈论在对抗性机器学习中的研究仍有一定的局限性，例如，在应用博弈论建模对抗性机器学习问题时，我们假设博弈中的玩家会进行理性互动。然而，这种假设在现实生活中不一定成立，特别是在安全领域，人类玩家的行为是高度不可预测的。此外，博弈论建模问题的方法并不总是可行的。在某些情况下，博弈均衡可能不存在；即使存在博弈均衡，均衡的求解也通常会涉及计算上难以解决的问题（如NP-Hard）。综上，博弈论为对抗性机器学习的研究提供了新的思路和见解，但仍有许多亟待解决的问题，如不完全信息、非理性博弈等。
参考文献
[1] Bountakas P, Zarras A, Lekidis A, et al. Defense strategies for adversarial machine learning: A survey[J]. Computer Science Review, 2023, 49: 100573.
[2] Zhou Y, Kantarcioglu M, Xi B. A survey of game theoretic approach for adversarial machine learning[J]. Wiley Interdisciplinary Reviews: Data Mining and Knowledge Discovery, 2019, 9(3): e1259.
[3] Dalvi N, Domingos P, Mausam, et al. Adversarial classification[C]//Proceedings of the tenth ACM SIGKDD international conference on Knowledge discovery and data mining. 2004: 99-108.
[4] Brückner M, Scheffer T. Nash equilibria of static prediction games[J]. Advances in neural information processing systems, 2009, 22.
[5] Brückner M, Scheffer T. Stackelberg games for adversarial prediction problems[C]//Proceedings of the 17th ACM SIGKDD international conference on Knowledge discovery and data mining. 2011: 547-555.
[6] Liu W, Chawla S. Mining adversarial patterns via regularized loss minimization[J]. Machine learning, 2010, 81: 69-83.
[7] Zhou Y, Kantarcioglu M. Modeling adversarial learning as nested Stackelberg games[C]//Pacific-Asia Conference on Knowledge Discovery and Data Mining. Cham: Springer International Publishing, 2016: 350-362.
写在最后
我们的文章可以转载了呢~欢迎转载与转发呦
想了解更多前沿科技与资讯？
点击上方入口关注我们！
欢迎点击右上方分享到朋友圈
香港中文大学（深圳）
网络通信与经济实验室
微信号 : ncel_cuhk
