近日，第三十八届神经信息处理系统年会（NeurIPS 2024）特设官方赛——大语言模型隐私挑战赛（LLM-PC）圆满落幕。蚂蚁数科旗下摩斯联合浙江大学计算机体系结构实验室共7人组成了“Morse & ARCLab”参赛队伍，荣获该赛事全部两个赛道中攻击赛道的冠军和防御赛道的最佳实用防御奖。
NeurIPS是机器学习领域三大旗舰会议之一，也是中国计算机学会A类推荐会议。该比赛冠军方案也代表着当前业界领先技术方案。
随着大模型在各行各业的快速应用，大模型的数据安全与隐私保护问题也日益凸显。在大模型的训练、微调和推理全过程中，都可能会导致用户的个人隐私及企业核心数据等重要敏感信息泄漏。保护大模型的数据隐私安全，已经成为业内十分关注的议题。
该挑战赛是本届NeurIPS特设官方竞赛，参赛者的任务是设计与实现创新解决方案，从下游模型中窃取训练数据中的隐私或设计隐私保护训练方法。竞赛聚焦大语言模型训练数据的隐私安全，有助于推动整个领域向构建更加安全、可靠的AI系统目标前进。
攻击赛道的赛题
其中，攻击赛道的赛题是从给定的大模型中窃取训练数据中的隐私，蚂蚁数科和浙大团队设计的算法思路是通过查询目标模型来构建提示语，并计算候选回应的损失值，选择损失值最低的候选作为最终输出。该算法在比赛提供的Llama3.1-8B模型上可以达到23.3%的攻击成功率。
防御赛道的赛题
防御赛道的赛题是为大模型设计一种保护数据隐私的训练方法。蚂蚁数科和浙大团队提交的方案利用数据脱敏与合成技术，来扰乱大模型对训练信息的记忆，降低其输出原始训练数据的可能，防止数据隐私泄漏。其方案使主办方提供的攻击方法成功率相对降低30.6%，同时在MMLU和TruthfulQA等基准数据集上的结果也表明该方法对模型性能几乎没有损耗。
目前该技术方案融合数据脱敏、差分隐私、模型混淆、TEE等多种技术，已经应用于农业场景中。蚂蚁数科摩斯的大模型隐私保护技术融合多方时空大数据，支持某银行进行行内目标助贷农户识别，有效提升种植户放款效率和满意度。
今年7月，蚂蚁数科摩斯成为信通院首批通过大模型可信执行环境产品专项测试的厂商，已经在银行和证券行业落地应用。未来，蚂蚁数科还将在大模型隐私保护方向，持续进行技术投入和落地探索，推进大模型在产业界发展。
