【论文标题】
A Population-to-individual Tuning Framework for Adapting Pretrained LM to On-device User Intent Prediction
【论文链接】https://dl.acm.org/doi/pdf/10.1145/3637528.3671984
导读
移动设备，尤其是智能手机，具备丰富的功能，已成为日常生活中不可或缺的工具
以智能手机为代表的移动设备已成为日常生活中不可或缺的工具。随着生成式人工智能的兴起，智能手机有望转变为个性化助手，预测用户需求并提供相应服务。依据历史交互序列准确预测用户在智能手机上的行为意图是其中的关键。然而，现有研究大多集中于特定领域，忽视了对不同事件序列进行跨领域建模的挑战。利用预训练语言模型（PLMs）是一个颇具前景的方向，但将PLMs应用于端侧用户意图预测面临巨大挑战。为应对这些挑战，我们提出了PITuning框架，一个从群体到个体的微调方案。PITuning通过动态建模事件到意图的转化，提升了群体常见模式的提取能力，并采用自适应遗忘策略处理用户个性化长尾偏好的问题。实验结果表明，PITuning在真实数据集上的意图预测取得最佳性能。
该工作是与荣耀终端校企联合项目合作成果，已发表于KDD 2024 Research Track (录用率约为20%)。
模型方法
图一 PITuning 训练流程
我们利用从群体中收集的行为数据来微调一个全局预测器，捕捉群体层面的通用行为模式。随后，为了满足端侧部署的条件，我们进行模型蒸馏得到轻量级预测器。在端侧，在对个人数据进行进一步微调之前，我们设计了自适应遗忘策略，以识别并消除在群体级微调过程中由于意图学习不均衡而导致的偏差。最后，经过两个阶段的PITuning，我们获得了一个轻量级且个性化的模型，能够在设备上进行准确的意图预测。
图二 模型框架图
群体微调
在全局预测器中，我们加载 GPT2 模型[1]参数作为模型的初始参数。GPT2 模型经过各种网络数据训练，具有广泛的知识、常识和推理能力。我们将嵌入向量输入 Transformer block中，以获得历史嵌入向量。
为了捕捉不同意图对历史序列的偏好，我们设计了意图注意网络 (IAT)，其中的局部激活单元，可以自适应地对历史事件序列加权，以适应每个意图的偏好。
为了提高模型捕捉事件到意图转换模式的能力，我们采用了掩蔽事件重建损失，它根据给定的部分观测信号重建原始事件序列。
模型蒸馏
为了满足端侧部署要求，我们采用了模型蒸馏方法[2]，即训练一个较小的模型（称为学生模型）来模仿一个较大的模型（称为教师模型）的行为。为了指导学生模型的训练，我们设计了软损失，即教师网络和学生网络的 logit 输出之间的 Kullback-Leibler 散度要一致。同时，我们还利用交叉熵损失来确保学生模型预测的准确性。
自适应遗忘学习
遗忘学习为忽略经过训练的神经网络中的特定数据或模式[3]。首先，我们需要决定哪些意图需要进行遗忘或保留。我们提出了两种方法来识别需要遗忘的意图。首先，我们在群体层面分析全局预测器输出的意图分布。如果意图 的比例小于阈值 ，则它属于静态遗忘集 。其次，如果在群体层面的意图占比小于平均值，而在个体层面的意图占比大于平均值，那么就属于动态遗忘集。
个人微调
最后，我们利用个人数据来微调模型。这个微调过程使模型从捕捉群体行为模式转变为反映用户的独特偏好，从而提高模型预测的准确性。
实验结果
我们在荣耀数据集和移动数据集测试了模型的性能，并与基于元学习的个性化推荐模型，基于LLM的推荐模型，端云协同的推荐模型的三类基线模型进行比较，结果显示PITuning可以稳定取得更好性能且weighted matrics 与macro matrics差距最小，证明了模型的公平性。
表一 实验结果
图三 PLM的有效性实验结果
与相同参数量规模的transformer进行对比，可以发现，我们模型性能更好，收敛性更快。
自适应遗忘学习有效性实验
图四 自适应遗忘学习有效性实验结果
我们与focal loss, 通过采样方法进行了对比。通过上图可以发现遗忘学习方法能有有效提升长尾意图效果。
IAN网络有效性实验
图五 IAN网络有效性实验结果
上图为IAN网络输出的注意力图，可以发现IAN网络可以有效的捕捉不同意图的历史长度偏好。
参考文献
[1]Radford, Alec, et al. "Language models are unsupervised multitask learners." OpenAI blog 1.8 (2019): 9.
[2]Hinton, Geoffrey. "Distilling the Knowledge in a Neural Network." arXiv preprint arXiv:1503.02531 (2015).
[3]Chen, Jiaao, and Diyi Yang. "Unlearn what you want to forget: Efficient unlearning for llms." arXiv preprint arXiv:2310.20150 (2023).
