语言模型对齐与压缩：自我引导优化偏好对齐；进化搜索实现最优的动态模型压缩；差异采样，知识蒸馏，离线蒸馏
Aligning Large Language Models via Self-Steering Optimization
2024-10-22｜CAS, Alibaba Group, UCAS|🔺11
http://arxiv.org/abs/2410.17131v1
https://huggingface.co/papers/2410.17131
https://github.com/icip-cas/SSO
研究背景与意义
在自然语言处理领域，随着大型语言模型（LLMs）的快速发展，如何有效地对其进行自动化对齐成为了研究的热点。现有的对齐方法大多依赖于人工标注的偏好数据，这不仅耗时耗力，而且难以保证数据的质量和一致性。因此，开发一种无需人工干预的自动对齐方法具有重要的理论和实际意义。 本文提出的自我引导优化（Self-Steering Optimization, SSO）算法，旨在通过生成高质量的偏好信号，解决当前对齐方法中的一些局限性，从而推动自动化对齐的研究进展。
研究方法与创新
自我引导优化（SSO）是一种新颖的方法，主要通过以下几个关键步骤实现：首先，SSO通过预定义的原则生成对政策模型的偏好信号；其次，在训练过程中，SSO确保所生成的信号具有较高的准确性，并保持选择和拒绝响应之间的一致性差距；最后，SSO在模型的在线和离线训练中均表现出色，能够有效提升奖励模型的训练效果。
SSO的创新点在于其独特的设计理念：通过引导模型生成近乎在政策上的偏好信号，减少了对人工标注的依赖，同时保持了信号的学习能力和准确性。这种方法不仅提升了对齐的效率，还为后续的模型优化提供了可靠的基础。
实验设计与结果分析
本研究通过对Qwen2和Llama3.1两个基础模型进行实验验证，评估了SSO的有效性。实验结果表明，SSO在多个主观和客观基准上均取得了显著的性能提升。具体而言，在AlpacaEval 2.0和MT-Bench等评估中，SSO模型的表现优于传统的对齐方法，且在数学推理等任务上表现尤为突出。这些结果表明，SSO能够有效生成高质量的偏好数据，进而提升模型的对齐效果。
结论与展望
本文提出的自我引导优化（SSO）方法为大型语言模型的自动对齐提供了一种新的思路。通过生成高质量的偏好信号，SSO不仅减少了对人工标注的依赖，还提升了模型的整体性能。未来的研究可以进一步探索SSO在其他自动化对齐框架中的应用潜力，以及优化其信号生成机制，以实现更高效的模型对齐。
EvoPress: Towards Optimal Dynamic Model Compression via Evolutionary Search
2024-10-18｜ETH Zürich, Yandex, Skoltech, IST Austria, NeuralMagic|🔺4
http://arxiv.org/abs/2410.14649v1
https://huggingface.co/papers/2410.14649
https://github.com/IST-DASLab/EvoPress
研究背景与意义
随着大型语言模型（LLMs）的广泛应用，模型的计算成本和存储需求日益增加，这促使研究者们探索模型压缩技术。现有的压缩方法主要集中在量化、稀疏化和结构化剪枝等方面。然而，这些方法通常依赖启发式算法来评估各层的重要性，且假设误差单调性，即模型的整体压缩误差与各层的误差和成正比。本文提出了一种新的动态压缩方法EvoPress，旨在通过进化搜索实现最优的动态模型压缩，克服现有方法的局限性。
研究方法与创新
EvoPress的核心创新在于其动态、非均匀的压缩策略。该方法通过进化搜索框架，对每个层的压缩级别进行独立优化，以最大限度地提高模型的准确性，同时满足给定的压缩约束。具体而言，EvoPress采用以下步骤：
层级压缩评估：为每个层分配一个压缩级别，并评估其对模型输出的影响。 进化搜索算法：基于父代模型生成多个后代，通过变异操作调整压缩级别，并根据适应度函数选择最优后代。 动态适应性：在搜索过程中，算法能够根据当前模型的表现动态调整搜索策略，确保快速收敛。
EvoPress在多个流行的后训练压缩方法上进行了验证，包括层级剪枝、稀疏化和量化，结果显示该方法在准确性和压缩比上均优于现有技术。
实验设计与结果分析
本文的实验设计涵盖了EvoPress在不同压缩任务上的应用，包括深度剪枝、非结构化稀疏化和量化。实验结果表明，EvoPress在多个模型（如Llama和Mistral系列）上均实现了显著的性能提升。例如，在深度剪枝任务中，EvoPress能够在保持较高准确度的同时，达到更高的压缩率。此外，EvoPress在量化任务中的表现也优于传统的均匀量化方法，验证了其动态分配压缩级别的有效性。
结论与展望
EvoPress作为一种新的动态压缩框架，展现了其在大型语言模型压缩中的潜力。尽管目前的研究已证明其在多种压缩方法上的有效性，未来的工作可以进一步探讨不同压缩方法的结合，以及在实际应用场景中的推广。此外，EvoPress在压缩效率和模型性能之间的平衡，为后续研究提供了新的方向。
MiniPLM: Knowledge Distillation for Pre-Training Language Models
2024-10-22｜THU, Tencent Inc.|🔺4
http://arxiv.org/abs/2410.17215v1
https://huggingface.co/papers/2410.17215
https://github.com/thu-coai/MiniPLM
研究背景与意义
近年来，语言模型（LM）的发展主要依赖于模型规模的扩大，但这也带来了高昂的推理成本。在训练小型模型时，由于计算需求的增加，如何高效地进行预训练成为一个重要挑战。知识蒸馏（KD）作为一种有效的方法，能够通过大型教师模型来提升小型学生模型的性能。然而，现有的KD方法在预训练阶段面临效率、灵活性和有效性等多重挑战。
针对这些问题，本文提出了MINIPLM框架，旨在通过优化训练数据分布来提高小型语言模型的预训练效果。MINIPLM通过离线推理教师模型，避免了在线推理带来的额外计算开销，确保了KD的灵活性，并通过对训练数据的难度和多样性进行调整，提升了学生模型的知识获取能力。实验结果显示，MINIPLM在多个下游任务上显著提升了学生模型的性能，同时降低了预训练的计算需求。
研究方法与创新
MINIPLM的核心创新在于其提出的“差异采样”方法。该方法通过比较大型教师模型和小型参考模型的输出分布，优化学生模型的预训练数据分布。具体来说，MINIPLM首先从教师模型中获取知识，然后通过差异采样选择难度更高、信息更丰富的训练实例。这一过程不仅提高了训练数据的多样性，也确保了模型能够学习到更复杂的知识。
通过这种方式，MINIPLM能够在不增加计算成本的情况下，显著提升学生模型的性能。此外，MINIPLM的灵活性使其能够适用于不同架构和标记化方式的模型，从而扩展了KD的应用范围。
实验设计与结果分析
在实验中，研究团队对200M、500M和1.2B参数的学生模型进行了预训练，使用1.8B参数的教师模型进行知识蒸馏。实验结果表明，MINIPLM在9个广泛使用的下游任务上均超越了多个基线模型，尤其是在零-shot任务中的表现尤为突出。
具体来说，MINIPLM在多个任务上的准确率显著高于传统的KD方法，如Vanilla KD和SeqKD。此外，MINIPLM还在语言建模能力上表现出色，测试损失最低，显示出其在数据利用率上的优势。
结论与展望
总的来说，MINIPLM通过优化训练数据分布，成功地解决了传统KD方法在预训练阶段的多重挑战。其在提升学生模型性能的同时，降低了计算成本，展现了良好的灵活性和适应性。
然而，MINIPLM仍然依赖于教师模型的输出概率，这在某些情况下可能限制其应用。未来的研究可以探索如何在不同的模型架构和数据条件下进一步优化MINIPLM的性能，尤其是在数据稀缺的环境中。此外，结合其他KD方法可能会进一步提升MINIPLM的效果，值得深入研究。
