2024年，全球数字化转型加速，机遇与挑战并存，安全的重要性愈发凸显。这一年，我们继续攻坚安全可信技术，联合清华大学、浙江大学、密码科学技术全国重点实验室、上海交通大学、华东师范大学、阿里巴巴等多位合作伙伴共同发表的16篇论文研究成果，被国内外知名会议或期刊收录，涉及可信AI、大模型应用、网络安全等领域。
当前，全球正处于一个历史性的技术变革期。大数据和人工智能等新兴技术不断深入产业应用，而网络黑灰产也已形成庞大且分工细致的国际产业链条，导致全球范围内严重安全事件频发。
与此同时，技术发展到达了一个关键的拐点。业界对网络空间安全的认知逐渐转向微观本源，提出了原生安全范式。经过几十年的积累，行业已经实现了以Rust等安全原生编程语言为基础的大规模工业级系统软件工程研发。此外，数据作为第五大生产要素，其大规模可信流通的趋势对构建技术信任体系提出了新的、迫切的要求。
技术的演进是一场永不停歇的马拉松，我们期望每一点成果都成为前进和创新的推动力，为研究者带来启发思路的新窗口，为产业实践提供更好的解决方案。
以下为论文摘要。
关键词：可信AI
收录会议或期刊：
S&P 2024（CCF A）
论文标题：
Sophon: Non-Fine-Tunable Learning to Restrain Task Transferability For Pre-trained Models
作者：
Jiangyi Deng（浙江大学）, Shengyuan Pang（浙江大学）, Yanjiao Chen（浙江大学）, Liangming Xia（浙江大学）, Yijie Bai（浙江大学）, Haiqin Weng（蚂蚁集团）, Wenyuan Xu（浙江大学）
论文摘要：
聚焦预训练模型滥用问题，创新性地提出非微调学习范式及 SOPHON 框架。该框架通过精心设计的微调模拟与评估算法，以及优化流程，达成在保留原任务性能的同时，阻止模型被微调用于不当任务的目标。经在多种深度学习模式、受限域和模型架构上的广泛实验验证，SOPHON 可显著增加微调成本，有效抵御多种微调策略，为 AI安全与责任研究注入强大动力，拓展了深度学习模型安全性的边界。
图：SOPHON设计图
阅读链接：
https://arxiv.org/pdf/2404.12699
关键词：
大模型应用、漏洞管理
收录会议或期刊：
USENIX Security Symposium2024（CCF A）
论文标题：
Exploring ChatGPT's Capabilities on Vulnerability Management
作者：
Peiyu Liu（浙江大学、浙江大学NGICS大平台）, Junming Liu（浙江大学、浙江大学NGICS大平台）, Lirong Fu（杭州电子科技大学）, Kangjie Lu（明尼苏达大学）, Yifan Xia（浙江大学、浙江大学NGICS大平台）, Xuhong Zhang（浙江大学、江淮前沿技术协同创新中心）, Wenzhi Chen（浙江大学）, Haiqin Weng（蚂蚁集团）, Shouling Ji（浙江大学）, Wenhai Wang（浙江大学、浙江大学NGICS大平台）
论文摘要：
文章探讨了ChatGPT应用于漏洞管理六项子任务的能力，所用数据集包含 70346个漏洞样本。针对对于每项子任务，文章将ChatGPT与当前最先进的方法进行对比，研究不同提示词的影响，并探索相关任务难点。结果表明，ChatGPT在协助漏洞管理方面具有很大潜力，例如，它在生成软件缺陷报告标题等任务中表现出色。此外，文章揭示了ChatGPT所遇到的难点，并指出了未来研究的方向。文章发现直接在提示中提供随机示例不能保证稳定的漏洞管理性能，而利用ChatGPT的自启发方式从示例中提取专业知识并将其整合到提示中，这是一个有前景的研究方向。此外，文章发现ChatGPT可能会误解和误用提示中的信息。因此，如何有效引导ChatGPT关注有用信息而非无关内容仍然是一个开放性问题。
图：漏洞管理流程
阅读链接：
https://arxiv.org/pdf/2311.06530
关键词：
大模型应用、命令解释
收录会议或期刊：
NDSS 2025
论文标题：
RACONTEUR: A Knowledgeable, Insightful, and Portable LLM-Powered Shell Command Explainer
作者：
Jiangyi Deng（浙江大学）, Xinfeng Li（浙江大学）, Yanjiao Chen（浙江大学）, Yijie Bai（浙江大学）, Haiqin Weng（蚂蚁集团）, Yan Liu（蚂蚁集团）, Tao Wei（蚂蚁集团），Wenyuan Xu（浙江大学）
论文摘要：
恶意的shell命令是许多网络攻击的关键组成部分，但由于其代码结构复杂且常常被伪装，安全分析人员可能难以理解这些命令。大型语言模型的进步使得生成易于理解的shell命令解释成为可能。然而，现有的通用大模型在shell命令解释任务中往往缺乏专业知识，并且容易出现不真实的内容。文章介绍了RACONTEUR，这是一种由大模型驱动的知识丰富、富有表现力且可移植的shell命令解释器。RACONTEUR融入了专业知识，为shell命令提供全面解释，包括命令的功能（即行为）和目的（即意图）。为了揭示命令的高层次意图，文章还将自然语言解释转化为由MITRE ATT&CK定义的标准技术和策略，这是全球公认的网络安全知识库。为了使RACONTEUR能够解释未曾见过的私有命令，文章进一步开发了一种文档检索器，从补充文档中获取相关信息，以辅助解释过程。
图：RACONTEUR设计图
阅读链接：
https://arxiv.org/abs/2409.02074
关键词：
对抗训练、AI安全、鲁棒性
收录会议或期刊：
CCS 2024（CCF A）
论文标题：
Alchemy: Data-Free Adversarial Training
作者：
Yijie Bai（浙江大学）, Zhongming Ma（浙江大学）, Yanjiao Chen（浙江大学）, Jiangyi Deng（浙江大学）, Shenyuan Pang（浙江大学）, Yan Liu(蚂蚁集团）, Wenyuan Xu（浙江大学）
论文摘要：
文章提出了第一个无数据对抗训练框架Alchemy，该框架旨在在无需访问原始训练数据的情况下增强模型的鲁棒性。通过重建获得鲁棒性高的训练数据、提高对不可访问原始数据集的对抗鲁棒性，方法可以在维持模型高精度的同时提升模型鲁棒性。 在没有任何训练数据集的情况下，Alchemy在大多数攻击场景中鲁棒性提升是有效的。
图：Alchemy设计图
阅读链接：
https://dl.acm.org/doi/pdf/10.1145/3658644.3670395
关键词：
人脸识别、深度伪造检测
收录会议或期刊：
CCS 2024(CCF A)
论文标题：
ProFake: Detecting Deepfakes in the Wild against Quality Degradation with Progressive Quality-adaptive Learning
作者：
Huiyu Xu（浙江大学区块链与数据安全全国重点实验室）, Yaopeng Wang（东南大学）, Zhibo Wang（浙江大学区块链与数据安全全国重点实验室）, Zhongjie Ba（浙江大学区块链与数据安全全国重点实验室）, Wenxin Liu(蚂蚁集团）, Lu Jin(蚂蚁集团), Haiqin Weng(蚂蚁集团), Tao Wei(蚂蚁集团), Kui Ren（浙江大学区块链与数据安全全国重点实验室）
论文摘要：
尽管在当前数据集上深伪检测有了可喜的进展，但在实际社交媒体平台（例如YouTube上的深伪视频和直播）采用各类图片压缩技术是的图片质量退化，使得深伪检测仍然是一个挑战。这种退化扰乱了可辨识的伪造线索，降低了深伪检测方法的有效性，对在实际场景的伪造人脸了造成了严重的安全隐患。文章旨在了解实际场景图片质量退化对深伪检测鲁棒性的影响。文章研究了在两种实际场景（即社交媒体平台上的深伪视频和深伪直播）中退化的深伪对其检测的风险。通过分析在不同训练样本序列下的训练动态，文章观察到从无降级（容易）到严重降级（困难）的训练顺序可以增强检测模型在真实世界中对各种降级状态的适应性。基于这些观察结果，文章提出了一种新的深伪检测方ProFake，以提高深伪检测在应对真实世界质量降级时的鲁棒性。ProFake通过逐步降级、检测和根据模型性能和图像质量反馈为训练样本分配权重，实现了质量自适应学习，从而确保模型逐步关注更具挑战性的样本，以实现质量自适应的深伪检测。
图：ProFake训练流程图
阅读链接：
https://dl.acm.org/doi/pdf/10.1145/3658644.3690238
关键词：
大模型对齐
收录会议或期刊：
EMNLP (Industry Track) 2024（CCF B）
论文标题：
Course-Correction: Safety Alignment Using Synthetic Preferences
作者：
Rongwu Xu（清华大学）, Yishuo Cai（中南大学）, Zhenhong Zhou（阿里巴巴集团）, Renjie Gu（中南大学）, Haiqin Weng（蚂蚁集团）, Liu Yan（蚂蚁集团）, Tianwei Zhang（南洋理工大学）, Wei Xu（清华大学）, Han Qiu（清华大学）
论文摘要：
随着大型语言模型广泛应用，其生成有害内容的潜在风险备受关注。尽管已有安全调整措施，但模型仍可能被诱导生成不良文本。部分模型在产生有害回复后能自我纠正，此能力对提升安全性至关重要，然而缺乏对该能力的全面评估与有效提升手段。本文聚焦于大语言模型（LLMs）生成有害内容的风险，提出通过合成偏好数据提升模型课程纠正能力的方法，有效增强模型安全性且不损性能，对推动 NLP 安全研究意义深远。
阅读链接：
https://aclanthology.org/2024.emnlp-industry.119.pdf
关键词：
DKCF，大模型，可信，应用可信框架，网络安全
收录会议或期刊：
信息安全研究，2024年12期
论文标题：
大模型应用可信框架研究
作者：
韦韬（蚂蚁集团），刘焱（蚂蚁集团），翁海琴（蚂蚁集团），仲震宇（蚂蚁集团），朱择韬（蚂蚁集团），王宇（蚂蚁集团），王美琴（山东大学）
论文摘要：
大模型技术的出现极大推动了人工智能在各行各业的快速应用，但大模型在实际应用过程中面临着一系列由“模型幻觉”导致的安全可信挑战.这些挑战导致大模型应用落地时，尤其是安全攸关的专业性推理和研判时，其给出的结果难以被轻易信任采纳.在诸多专业领域实践中发现，大模型应用过程中缺乏一个统一的技术框架来保证其结果的可信，这严重阻碍了大模型技术在专业领域的应用。
针对这个问题，结合在金融、医疗、安全等专业领域的应用实践，提出一种集充足数据(data,D)，专业知识(knowledge,K),智力协同(collaboration,C),高效反馈(feedback,F)为一体的大模型可信应用框架DKCF. 希望DKCF可以推动行业大模型安全可信，助力大模型应用变革，推动越来越多的行业迎来智力革命。
阅读链接：
https://kns.cnki.net/kcms2/article/abstract?v=kz9ikNiCkdrRiHDmz4N2TeB5cPSB8c-eRDdu51F2a3DG3LS4rPBzeTnrFqNBJ2ctNAbkARpWYVqdYxqdByOzPFC_nvdk62i0blAjxz00k_i2p-N2tZgsnUy9KHGnVxkY-MMBBk9icR0IMrAobf9_RKN9_dWHvdSluJ8xuGEVqA80mtN_FczOMlUK1ok5kDH9AxgCIKNM8IqmwwL1rLvz1Q==&uniplatform=NZKPT
关键词：
隐蔽通道，软件定义网络（SDN），防御
收录会议或期刊：
IEEE/ACM Transactions on Networking（CCF A）
论文标题：
Constructing SDN Covert Timing Channels between Hosts with Unprivileged Attackers
作者：
Yixiong Ji（清华大学），Jiahao Cao（清华大学）, Qi Li（清华大学）, Yan Liu（蚂蚁集团）, Tao Wei（蚂蚁集团）, Ke Xu（清华大学）, Jianping Wu（清华大学）
论文摘要：
软件定义网络（SDN）因其集中化和可编程特性而被广泛部署。然而，这些新特性同时也带来了新的威胁。先前的研究表明SDN 隐蔽信道可以由控制 SDN 关键组件（例如控制器应用程序或 SDN 交换机）的特权敌手构建。文章提出了一种新的 SDN 隐蔽时间信道，它可以在不控制应用程序、控制器或访问交换机的情况下实现主机之间的通信。在实际 SDN 测试平台中的实验证明了文章提出隐蔽信道的可行性和有效性。为了防御这种隐蔽时间信道，文章设计了一个命名为 CovertGuard 的防御系统，该系统利用隐蔽信道的延迟时间特征来有效地检测和消除隐蔽信道。
图：CovertGuard系统设计图
阅读链接：
https://www.computer.org/csdl/journal/nt/5555/01/10758796/221BnJ1klHO
关键词：
二进制分析，少样本学习
收录会议或期刊：
ASE 2024
论文标题：
TypeFSL: Type Prediction from Binaries via Inter-procedural Data-flow Analysis and Few-shot Learning
作者：
宋梓瑞（香港中文大学）、周宇桐（香港中文大学）、董帅克（蚂蚁集团）、张可（香港中文大学）、张克环（香港中文大学）
论文摘要：
在剔除了符号信息的二进制文件中还原变量类型是一个重要且有挑战性的工作。现有的基于机器学习的方法在面临复杂且少见的数据类型时拥有很大局限性。基于此，我们提出一套基于过程间数据流信息的少样本学习框架并构建了原型，在数据集上表现出了优秀的准确率和抵抗混淆的能力。
图：TypeFSL框架的工作流程，包括数据预处理、训练以及预测阶段
阅读链接：
https://dl.acm.org/doi/10.1145/3691620.3695502
关键词：
Federated LLM, Security, TEE, Lightweight encryption
收录顶会：
ICASSP 2024
论文标题：
A Fast, Performant, Secure Distributed Training Feamework For LLM
(一个针对大模型的快速，高性能，安全的分布式训练框架）
作者：
黄炜(蚂蚁集团)，王莹桂(蚂蚁集团)，程安达(蚂蚁集团)，周爱辉(蚂蚁集团)，余超凡(蚂蚁集团)，王磊(蚂蚁集团)
论文摘要：
大模型对不同任务具有强大的理解和解释能力，对于数据也拥有很强的记忆和处理能力。这也标志着无论是数据还是模型本身的参数都是大模型拥有者的重要财产，即其既不想模型参数泄漏也不想数据泄漏。分布式（联邦）大语言模型（LLM）是使用分散数据共同训练特定领域大语言模型的重要方法。然而，恶意窃取服务器或客户端的模型参数和数据已经成为亟待解决的紧迫问题，所以需要一个新颖的分布式大模型训练框架，使得任何一方都无法窃取各个客户端的数据，以及无法拿到微调的参数。
为了解决上述问题，在本文中，我们提出了一种基于模型切片的安全分布式大型语言模型。在这种情况下，我们在客户端和服务器端都部署了可信执行环境（TEE），并将微调结构（LoRA或P-tuning v2）放入TEE中。然后，通过轻量级加密 (One Time Pad) 在TEE和常规环境 (GPU) 中执行安全通信。
为了进一步降低设备成本以及提高模型性能和准确性，我们提出了一种分割微调方案。具体而言，我们按层切分大语言模型，并将后续层放置在服务器端的 TEE 中（客户端不需要 TEE）。然后，我们提出了稀疏参数微调（SPF）与 LoRA 部分结合起来，以提高下游任务的准确性。大量实验表明，我们的方法在保证安全性的同时也保证了准确性。
论文原文链接：
https://arxiv.org/pdf/2401.09796.pdf
关键词：
Representation learning， Face recognition, Intra-class Incoherence
收录顶会：
ICLR 2024
论文标题：
《Enhanced Face Recognition using Intra-class Incoherence Constraint》
（利用类内不一致性约束增强的人脸识别技术）
作者：
黄源清（蚂蚁集团），王莹桂（蚂蚁集团），杨乐(坎特伯雷大学)，王磊（蚂蚁集团）
论文摘要：
当前的人脸识别（FR）算法已经达到了高度精确的水准，因此要实现进一步的提升变得越来越具有挑战性。尽管现有的FR算法主要集中在优化边界和损失函数上，但对特征表征空间的探索却受到了有限的关注。因此，本文旨在从特征表征空间的角度来提高人脸识别的性能。首先，我们考虑了两个表现出明显性能差异的人脸识别模型，其中一个模型相比另一个展现出了更高的识别准确率。我们在优势模型的特征上沿着劣势模型的特征作正交分解，获得了两个子特征。令人惊讶的是，我们发现垂直于劣势模型的子特征仍然具有一定程度的识别能力。我们调整了子特征的模，并通过向量加法重新组合它们。实验表明，这种重新组合很可能有助于提升面部特征表示，甚至优于原始优势模型的特征。
受到这一发现的启发，我们进一步考虑了在只有一个人脸识别模型可用的情况下如何提高识别精度。我们受到知识蒸馏的启发，引入了类内不一致性约束(IIC)来解决这个问题。在多个人脸识别基准的测试结果表明，通过引入IIC，现有的最先进的人脸识别方法可以得到进一步改进。此外，我们还正在大模型蒸馏上进行相关探索。我们发现引入IIC对 Bert（transformer模型）进行蒸馏同样能够提升模型精度。我们在ICLR 2023的spotlight工作mpcformer 上，在训练阶段加入我们提出的 IIC，发现最后得到的模型精度表现要优于原论文中的模型。后续我们将持续研究 IIC 对其他的大语言模型蒸馏性能的影响。
论文原文链接：
https://openreview.net/forum?id=uELjxVbrqG&referrer=%5BAuthor%20Console%5D(%2Fgroup%3Fid%3DICLR.cc%2F2024%2FConference%2FAuthors%23your-submissions)
关键词：
提示学习、后门检测、后门防御、预训练模型安全
收录顶会：
NDSS 2024
论文标题：
LMSanitator: Defending Prompt-Tuning Against Task-Agnostic Backdoors
作者：
魏成坤（浙江大学）、孟文龙（浙江大学）、张治坤（亥姆霍兹信息安全中心）、陈敏（亥姆霍兹信息安全中心）、赵明虎（浙江大学）、方文静（蚂蚁集团）、王磊（蚂蚁集团）、张紫徽（浙江大学）、陈文智（浙江大学）
论文摘要：
提示学习已经成为部署大规模语言模型的一个吸引人的范式，因为它在下游任务性能和高效的多任务服务能力方面表现强大。尽管它被广泛采用，我们通过实验研究，发现提示学习容易受到下游任务无关的后门攻击，这些后门存在于预训练模型中，并且可以影响任意下游任务。由于这些后门触发器很难被逆转，最先进的后门检测方法无法防御这种下游任务无关的后门。
为了解决这个问题，我们提出一种全新的方法LMSanitator，用于检测并移除 Transformer模型的下游任务无关后门。LMSanitator的目标不是直接逆转触发器，而是逆转预定义的攻击向量（当输入嵌入触发器时，预训练模型的输出），这样做在收敛性能和后门检测准确度上取得了更好的成果。LMSanitator进一步利用提示学习的特性——冻结预训练模型，以在推理阶段进行准确快速的输出监控和输入清洗。在多个语言模型和自然语言处理任务上的广泛实验展示了LMSanitator的有效性。例如，LMSanitator在960个模型上达到了92.8%的后门检测准确度，并且在大多数情况下将攻击成功率降低到了1%以下。
LMSanitator 示意图
论文原文链接：
https://arxiv.org/abs/2308.13904
关键词：
大模型、密态推理、安全多方计算
收录顶会
ICML 2024
论文标题：
Ditto: Quantization-aware Secure Inference of Transformers upon MPC
(量化感知的 Transformer 模型密态推理)
作者：
吴豪奇（蚂蚁集团）、方文静（蚂蚁集团）、郑言成（蚂蚁集团）、马俊明（蚂蚁集团）、谭晋（蚂蚁集团）、王磊（蚂蚁集团）
论文摘要：
Ditto 基于 Secretflow-SPU 框架实现了量化感知的Transformer模型密态推理，基于安全多方计算技术对大模型推理中的模型参数及用户输入提供可证安全保护。具体来说，Ditto在先前隐语和蚂蚁技术研究院合作的工作PUMA基础之上（第一个支持LLaMA-7B模型密态推理的工作），受到明文场景中常用的量化技术的启发，Ditto尝试将不同精度的量化运算应用在密态计算领域。然而，由于cost model的不同，简单地套用明文量化并不能带来显著的性能提升，甚至是负收益。
针对此问题，Ditto采用了layer-wise静态量化方案，设计并实现了量化感知的编译器，能够自动地根据前端数据类型，执行不同精度的后端密态运算。此外，为了支持密态计算下的数据类型切换，Ditto提出了相关安全多方计算算子的优化协议设计，能够以更高效率实现密态数据类型的切换，进而带来更优的密态推理性能。
Ditto 整体框架
我们在经典模型Bert和GPT2上进行了大量实验，实验结果表明，Ditto可以在不显著降低模型可用性的情况下实现密态推理效率的提升，效率相较最新工作提升约2~4倍。
论文原文链接：
https://arxiv.org/abs/2405.05525
关键词：
安全联合数据分析、安全多方计算、SQL
收录顶会：
VLDB 2024
论文标题：
SecretFlow-SCQL: A Secure Collaborative Query pLatform
（一个安全联合数据分析平台）
作者：
方文静（蚂蚁集团）、操顺德（蚂蚁集团）、华国进（蚂蚁集团）、马俊明（蚂蚁集团）、 于永强（蚂蚁集团）、黄群山（蚂蚁集团）、冯骏（蚂蚁集团）、谭晋（蚂蚁集团）、 昝晓鹏（蚂蚁集团）、段普（蚂蚁集团）、 杨扬（蚂蚁集团）、 王力（蚂蚁集团）、 张科（蚂蚁集团）、王磊（蚂蚁集团）
论文摘要：
大数据时代下，数据分析被广泛应用于各类业务场景中，丰富的数据可以带来巨大的业务价值。由于不同机构提供的特征、样本可以互为补充，为场景带来进一步增益，近年来跨机构联合数据分析的需求不断增长。然而，随着用户对隐私问题的日益关注，以及隐私保护相关国家法律法规的出台，使得机构间的数据无法联通，形成一个个数据孤岛。
安全多方计算(Secure Multi-Party Computation，MPC)为联合数据分析提供了一种有效的解决方案，在保证数据安全的同时，可以充分利用数据价值。然而，MPC的性能瓶颈和查询语句的灵活性对联合数据分析框架构成了巨大挑战。在隐语中，我们构建了安全联合数据分析平台SCQL(Secure Collaborative Query pLatform)，基于底层的MPC协议实现 SQL中的关系操作，从而支持通用SQL语句的运行。同时，我们利用原始数据分布的特点（水平/垂直），设计更加高效的 MPC协议和关系操作，大大提高计算效率。用户使用过程中，体感上是在对多方联合的逻辑宽表进行查询，无需过多关心数据的实际物理分布及MPC底层协议的专业知识。用户还可以根据自身业务场景特点，配置可接受的安全退让，从而最大程度上利用到算法设计的加速策略。
论文原文链接：
https://www.vldb.org/pvldb/volumes/17/paper/SecretFlow-SCQL%3A%20A%20Secure%20Collaborative%20Query%20pLatform
关键词：
Transformer, Secure inference, homomorphic encryption, multi-party computation
收录顶会：
NeurIPS 2024
论文标题：
Nimbus: Secure and Efficient Two-Party Inference for Transformers
（面向Transformer模型的安全高效两方隐私推理框架）
作者：
李正一（上海交通大学）、杨糠（密码科学技术全国重点实验室）、谭晋（蚂蚁集团）、陆文杰（蚂蚁集团）、吴豪奇（蚂蚁集团）、汪骁（美国西北大学）、郁昱（上海交通大学）、赵得润（蚂蚁集团）、郑言成（蚂蚁集团）、过敏意（上海交通大学）、冷静文（上海交通大学）
论文摘要：
Transformer模型在众多机器学习任务中展现出强大能力，也是大模型的结构基础，在众多实际任务上有潜在的实际应用。为了解决伴随而来的隐私问题，基于密码学的隐私推理提供了一种可行的技术方案。然而，当应用于Transformer时，基于安全两方计算（2PC）的现有方法具有两方面的效率限制：
（1）线性层中大量的矩阵乘法运算，以及（2）复杂的非线性激活函数，如高斯误差线性单元（GELU）和Softmax函数。
本文为Transformer模型提出了一种新的两方推理框架Nimbus。对于线性层，我们提出了一种新的2PC范式以及一种编码方法，该方法基于外积来安全地计算矩阵乘法，与最先进的矩阵乘法协议相比，实现了2.9倍至12.5倍的性能提升。对于非线性层，通过利用Transformer模型中激活值具有稳定分布的观察，我们为GELU和Softmax提出了一种低次多项式近似方法，该方法相比于现有方案的多项式近似的性能提高了2.9倍至4.0倍，并且在与非2PC（无隐私保护）推理相比时，平均精度损失仅为0.08%。从总延迟来看，与最新两方推理相比，Nimbus在不同网络设置下将BERT推理的端到端性能提高了2.7倍至4.7倍。
论文原文链接：
https://openreview.net/pdf?id=G7QS68ICPJ
关键词：
大模型隐私安全，大模型隐私攻击，链式框架
收录顶会：
EMNLP 2024
论文标题：
Privacy Evaluation Benchmarks for NLP Models
作者：
黄炜(蚂蚁集团)，王莹桂(蚂蚁集团)，陈岑(华东师范大学)
论文摘要：
通过在自然语言处理（NLP）模型上诱导隐私攻击，攻击者可以获得诸如训练数据和模型参数等敏感信息。虽然研究人员对NLP模型中的几类攻击进行了深入研究，但这些分析并不系统化。缺乏对攻击所造成影响的全面理解。例如，我们必须考虑哪些场景可以适用于哪些攻击，影响不同攻击性能的共同因素是什么，攻击之间关系的本质是什么，不同数据集和模型对攻击效果的影响如何等。因此，我们需要一个基准来全面评估NLP模型面临的隐私风险。在本文中，我们提出了一个在NLP领域的隐私攻击和防御评估基准，该基准包括常规/小型模型和大型语言模型（LLMs）。这个基准支持多种模型、数据集和协议，并配备标准化模块以全面评估攻击和防御策略。基于上述框架，我们研究了来自不同领域的辅助数据与隐私攻击强度之间的关联。并借助知识蒸馏（KD）在此场景中提供了一种改进的攻击方法。此外，我们提出了一种链式隐私攻击框架，允许从业者将多个攻击串联起来，以实现更高级别的攻击目标。基于此，我们提供了一些防御和增强攻击的策略。
论文原文链接：
https://arxiv.org/abs/2409.15868
