Google Research和Google DeepMind的研究人员提出了一种新方法，称为小模型辅助大模型训练（SALT），旨在提高大型语言模型（LLM）的训练效率。SALT通过利用小型语言模型（SLM）在两个阶段中指导LLM的训练：首先，SLM作为教师，通过知识蒸馏向LLM传递预测分布并选择具有挑战性的数据子集；然后，LLM在传统自监督学习中独立优化其对复杂数据分布的理解。实验结果显示，使用SALT训练的LLM在多个基准任务中表现优于传统方法，且训练时间减少了约28%。
参考：
https://arxiv.org/abs/2410.18779
点个分享、点赞与在看，你最好看~
