TLDR: 针对敏感移动数据可能从机器学习模型中被泄露的问题，本文设计了一个隐私攻击套件，包括四种针对不同数据粒度和不同目标的攻击，以理解兴趣点推荐中的模型隐私泄露问题。实验结果表明，当前的兴趣点推荐模型非常容易受到隐私攻击，亟需合适的防御措施。

论文：https://arxiv.org/abs/2310.18606
代码：https://github.com/KunlinChoi/POIPrivacy

0 摘要

基于位置的服务（LBS，Location Based Services），如地图等，近来得到了广泛的发展。各大厂商通过收集用户的移动数据来训练模型，从而提供更准确的推荐服务。然而，这些收集的个人数据包含了敏感的个人信息，如住址、日常轨迹等。在这篇文章中，我们讨论了在兴趣点推荐（POI Recommendation）等服务中，隐私数据可能通过模型泄露。本文提出了一个隐私攻击套件，包括针对兴趣点推荐模型的数据提取和成员推理攻击，用于量化兴趣点推荐中的不同隐私泄露情况，并理解不同设定下隐私泄露的严重性。同时，提供了一些关于减轻这种隐私泄露的见解和面临的挑战。

1 介绍

兴趣点推荐最近因其在许多商业应用中的重要性而受到广泛关注， 例如用户体验个性化和资源优化。最初，研究人员专注于特征工程和马尔可夫链等算法、矩阵分解算法，和贝叶斯个性化排名用于兴趣点推荐。然而，最近的研究已经将注意力转向使用 RNN，LSTM, self-attention models等神经网络。神经网络可以更好地从移动数据（例如签到）中的时空相关性中学习，以预测用户的未来位置，从而大大优于其他兴趣点推荐算法.

然而，使用这些神经网络的模型可能带来新的隐私威胁，因为深度学习模型已经被发现容易受到隐私攻击，导致用于训练的个人数据会被模型泄露。然而目前对于这种移动数据的隐私研究主要还停留在保护数据的收集过程，而没有考虑从深度学习模型出发的攻击面。

评估兴趣点推荐模型中的隐私风险仍然具有挑战性，因为现有的攻击和防御机制由于移动数据的独特特征，如时空信息（spatial-temporal information）等，并不是十分有效。以前的针对深度学习的隐私攻击主要集中在使用图像和文本数据训练的模型上，这些图像或者文本的数据可以唯一地标识自己。然而，移动数据（例如位置数据）在没有上下文的情况下，语义上并不那么独特。此外，移动数据包含多模态空间和时间信息，描述了每个人随时间的运动和行为模式。现有的攻击无法构建有意义的上下文并利用时空信息，导致它们在应用于POI推荐时失败。此外，现有的防御机制主要在使用图像或文本数据训练的分类模型上进行测试。由于任务和数据的显著差异，防御机制在应用于兴趣点推荐时的有效性也尚不清楚。

考虑到这些问题，我们设计了一个全面的隐私攻击套件，以研究使用移动数据训练的兴趣点推荐模型中的隐私泄露问题。具体来说，该隐私攻击套件包含两种最流行的机器学习模型隐私攻击，即数据提取（Data Extraction Attack）和成员推理攻击 (Membership Inference Attack)，用以评估兴趣点推荐模型在位置和轨迹层面的隐私漏洞。与针对图像和文本数据的隐私攻击相比，我们的攻击套件中的攻击是针对移动数据量身定制的，旨在根据实际对手的知识提取不同类型的敏感信息。

2. 攻击套件

2.1 LocExtract 位置提取攻击

该攻击的目的是提取受害者模型训练中某用户最常访问的位置。我们发现，当随机查询受害模型时，这些模型倾向于“过度学习”用户最常访问的位置，从而使这些位置更有可能出现在模型输出中。例如，随机选择10个用户，并使用100个随机选择的位置查询受害者模型。在这些查询中，32.5%的查询结果会显示目标用户最常访问的位置，而这些最常访问的位置仅占这些用户数据集的18.7%。

基于这一观察得到的启示，我们设计了以下攻击方法：通过生成不同的随机输入并对受害模型进行多次迭代查询，使用Soft Voting选取所有查询结果中具有最大聚合logit的位置作为提取结果。尽管该攻击方法简单，但它是有效的，并且可以作为攻击套件中其他攻击的基础。

2.2 TrajExtract 轨迹提取攻击

该攻击的目的是提取受害者模型训练时使用的一条长度为n的轨迹。因为模型在看到训练数据时往往会表现出较低的困惑度（perplexity），我们可以通过beam search的方式来选取选取最有可能的轨迹。

需要注意的是，LocExtract和TrajExtract都需要一个准确的时间戳来执行查询。时间戳的选择会影响攻击的结果。具体实验结果请参考我们的文章。

2.3 LocMIA 位置成员推理攻击

在这种攻击中，攻击者的目的是确定某个特定用户是否在模型训练数据中访问过某个地点。我们的攻击基于目前最先进的成员推理攻击LiRA。然而，直接将LiRA应用于LocMIA是不行的，因为受害者模型将轨迹序列作为输入，而在LocMIA中，攻击者只有目标位置而没有所需的位置上下文。具体来说，LocMIA需要辅助信息来计算成员置信度得分，而在这种设定下，推理的目标位置，并没有所需的辅助上下文信息。这与图像和文本分类中的成员推理攻击不同，因为在图像和文本模型中，本身就可以用来计算成员置信度得分。

为了解决这个问题，我们设计了一个时空模型查询算法（SpaTemQuery）。该算法的思路是，如果特定用户去过某个POI，模型可能会“无意中”记住其相邻的POI和训练数据中的相应时间戳。因此，我们生成一组查询数据，包括个随机的POI作为的前置位置，并为每个POI生成个随机的时间戳。对于查询结果，我们选取置信度最高的组合作为最终的查询。这一步是为了让攻击者能够找到尽可能准确的上下文信息来支持成员推理攻击。

2.4 TrajMIA 轨迹成员推理攻击

在这种攻击中，攻击者想知道受害者模型的训练数据中是否使用了一条具体轨迹。与LocMIA不同的是，由于轨迹是序列数据，我们不需要上下文信息就可以计算成员置信度得分。不过，为了充分利用查询提供的信息，对于一个长度为n的轨迹，可以通过使用其子轨迹得到n-2个输出，并与最终完整轨迹的输出一起平均计算出最后的成员置信度得分。这样使用了更多的序列信息，为攻击提供了更多有关目标的上下文。

我们的位置/轨迹成员推理攻击的算法可以在下图中找到，其中红色部分是位置成员推理攻击的部分，而紫色部分是专属于轨迹成员推理攻击的部分。

2.5 攻击的实际影响

我们的攻击套件设计为一个集成框架，专注于移动数据的基本单元——位置和轨迹。攻击套件中的每种攻击都针对特定类型的移动数据，可以用作隐私审计工具，并且还可用于推断移动数据中的其他敏感信息。

• LocExtract提取用户最常去的地理位置，结合POI语义可以推断出用户的地址，比如工作地址等，与用户身份紧密相关；
• TrajExtract可以进一步用于通过分析旅途中访问的 POI 来推断用户轨迹并识别旅行目的；
• LocMIA可以确定多个 POI 的成员资格，从而有助于推断用户的活动范围和社交联系；
• TrajMIA推断用户的轨迹是否在训练数据集中，它可以作为审计工具，通过假设最坏情况的对手来检查隐私泄露。

3 实验

我们在三种具有代表性的兴趣点推荐模型包括包括GETNext、LSTPM 和RNN，以及两个POI数据集上测试了我们的攻击套件。具体来说，我们研究了以下的几个问题：

• RQ1: 所提出的攻击在从兴趣点推荐模型中提取或推断敏感信息方面的性能如何?
• RQ2: 移动数据中的哪些独特因素（例如用户、位置、轨迹）与攻击性能相关?
• RQ3: 不同的攻击设计（例如，用于成员推理攻击的时空查询）如何提高攻击性能?

对于数据提取攻击，我们使用top-𝑘提取攻击成功率（ASR）作为指标。对于成员推理攻击，我们使用了常用的平均情况指标，包括area under the curve（AUC）和average-case “accuracy”（ACC），以及最坏情况指标（TPR@low FPR)。

3.1 RQ1: 实验结果

主要实验结果如下图所示，相较于随机猜测基线，我们的结果显示了显著的隐私泄露。具体分析及原因请见原论文

3.2 RQ2: 移动数据与攻击结果

数据异常值的影响也存在于针对兴趣点推荐的隐私攻击中。在兴趣点推荐的背景下，移动数据异常值可以从用户、位置和轨迹的角度来描述。我们攻击套件中的不同攻击可能容易受到特定类型的数据异常值的影响，与其他数据相比，这些数据异常值更加独特，更容易受到我们的攻击。具体异常值种类以及分析请见原文。

3.3 RQ3: 不同的攻击设计与攻击结果

我们的结果发现，攻击只需很少的query预算就可以获得很高的成功率。同时，时空信息对于攻击结果至关重要，准确的时空信息上下文可以显著提升攻击效果。更多分析请见原文。

3.4 防御

我们在兴趣点推荐模型中部署了两种常见的防御方向，包括 （1）减少过拟合 （如early stopping, 𝑙2 regularization）（2）差分隐私 （如 DP-SGD， JFT, 和 Geo-Indistinguishability）。结果发现，现有的防御措施，尤其是针对一些特定的敏感数据子集，在减轻兴趣点推荐的隐私风险方面提供了一定程度的保护。然而，没有一种防御措施能在效用下降很小的情况下成功防御所有提出的攻击。更多防御实验的结果请见原文。

4 结论

在这项工作中，我们评估了兴趣点推荐模型的隐私风险。我们提出了一个攻击套件，包括数据提取攻击和成员推理攻击，以提取和推断移动数据中的敏感信息。通过大量实验，证明了攻击的有效性，并分析了哪些类型的移动数据容易受到攻击。为了减轻攻击风险，我们尝试了两种主流防御机制，但结果表明，没有任何一种防御措施能够有效抵御所有提出的攻击。研究结果强调了兴趣点推荐模型急需更好的隐私保护方法。同时我们提出推广攻击套件以衡量更具挑战性的现实世界位置服务的隐私风险，以及开发更先进的防御机制是有趣且重要的未来的研究方向。

欢迎干货投稿 \ 论文宣传 \ 合作交流

推荐阅读