语言模型与注意力机制：时间混合模块代替自注意力，RWKV-7注意力机制，注意力蒸馏；参数 vs FLOPs，MOE模型的最优稀疏度缩放定律
ARWKV: Pretrain is not what we need, an RNN-Attention-Based Language Model Born from Transformer
2025-01-26｜🔺14
http://arxiv.org/abs/2501.15570v1
https://huggingface.co/papers/2501.15570
https://github.com/yynil/RWKVInside
研究背景与意义
在当前的自然语言处理领域，线性递归神经网络（LRNNs）逐渐崭露头角，尤其是RWKV等模型展现出与传统Transformer架构相媲美的竞争力。然而，这些新兴模型在上下文学习和长上下文检索方面，仍然面临着子二次注意力的固有限制。RWKV-7架构的出现，为解决这些问题提供了新的思路，其通过时间混合模块（time-mixing module）替代自注意力机制，展现出更强的状态追踪能力。尽管Qwen 2.5模型需要巨大的计算资源进行训练，本文通过精炼知识蒸馏方法，成功缩短了训练时间，使得在单个GPU上也能实现高效的模型训练。这一研究不仅填补了现有模型在效率和表达能力上的空白，也为后续的基础模型构建提供了宝贵的实践经验。
研究方法与创新
本研究提出了一系列基于RWKV-7注意力机制的新模型，通过将Transformer的注意力模式转化为RNN基础的注意力机制，展示了其在表达能力上的提升。具体而言，研究分为三个阶段：
时间混合模块替代自注意力：在这一阶段，通过对比学生模型和教师模型的隐藏状态输出，调整参数以实现更高效的学习。研究表明，初始化状态注意力并非必要，反而会影响收敛速度。
知识蒸馏：采用基于单词的KL散度，优化了从32B模型到7B模型的蒸馏过程，实现了快速收敛。通过平衡数据集分布，进一步提升了模型的性能。
监督微调与用户偏好优化：在这一阶段，通过引入用户偏好来优化模型的输出，显著提高了模型在上下文长度扩展方面的表现。
这些创新点不仅有效地提升了模型的表达能力，还为未来的研究提供了新的视角，尤其是在多模态架构和模型压缩领域。
实验设计与结果分析
研究团队进行了多轮消融实验，以评估不同训练因素对最终模型性能的影响。实验结果显示，尽管模型使用bfloat16进行训练，但在推理时采用float16显著提升了性能。此外，知识蒸馏过程中未使用门控机制和冻结MLP的模型表现不佳，表明在不同规模模型间直接转移注意力机制可能存在架构不匹配的问题。通过对比不同模型在多个基准测试上的表现，研究发现ARWKV-7B模型在多个任务上取得了优异的成绩，显示出其在实际应用中的潜力。
结论与展望
本文的研究表明，结合注意力对齐与知识蒸馏的方法，可以有效地将Transformer的注意力模式转化为RNN基础的注意力机制，增强了模型的表达能力。未来的研究将集中在实现Stage 3的后训练，以复制深度推理能力，并探索该方法在不同计算范式中的适用性，包括混合专家框架和多模态架构等。这一扩展旨在验证所提出方法的稳健性和可迁移性，为更广泛的应用场景提供支持。
Parameters vs FLOPs: Scaling Laws for Optimal Sparsity for Mixture-of-Experts Language Models
2025-01-21｜Apple, MIT|🔺6
http://arxiv.org/abs/2501.12370v2
https://huggingface.co/papers/2501.12370
研究背景与意义
在现代语言模型的研究中，模型容量的扩展一直被视为提升性能和解锁新能力的有效途径。模型容量主要由两个维度定义：模型参数数量和每个示例的计算量（FLOPs）。尽管通常的扩展方法是同时增加这两个维度，但它们之间的精确关系及其对整体容量的贡献尚未完全理解。本研究聚焦于稀疏Mixture-of-Experts（MoEs）模型，通过允许在不成比例增加每个示例的FLOPs的情况下扩展参数数量，探索稀疏性水平对模型性能的影响。
研究的目标是揭示在不同约束条件下（如参数大小和总训练计算量）存在的最佳稀疏性水平，从而提高训练效率和模型性能。这一发现为理解稀疏性在MoEs扩展法则中的作用提供了新的视角，并为设计更高效的架构提供了理论支持。
研究方法与创新
本研究采用了大规模的实证研究方法，以探讨在固定训练计算预算下，MoEs中参数数量与FLOPs之间的最佳权衡。研究团队定义了稀疏性为非活动专家数量与总专家数量的比率，并通过定量和定性分析，推导出在给定训练FLOPs和参数总数的情况下，最佳稀疏性水平。
稀疏性定义与影响：
研究中稀疏性被定义为非活动专家与总专家的比率，通过调整活动专家的数量来控制这一比率。 在预训练阶段，增加模型的容量（即增加参数数量）比单纯增加每个示例的FLOPs更能提升性能。
实验设计：
通过对不同稀疏性、模型大小和计算预算下的损失和下游指标进行评估，研究团队构建了一个三维的IsoFLOP表面，分析稀疏性、参数数量和损失之间的关系。
结果分析：
发现随着稀疏性水平的增加，模型的预训练损失单调下降，表明在相同的计算预算下，稀疏模型能够实现更好的预训练性能。 进一步的分析表明，对于固定的模型大小，最佳稀疏性水平随着模型规模的增加而增加，趋近于1。
理论基础：
研究提出了一种新的参数化形式的扩展法则，考虑了稀疏性对模型性能的影响，提供了一个更全面的框架来理解MoEs的扩展行为。
实验设计与结果分析
本研究的实验设计旨在探讨稀疏性对模型性能的影响，特别是在下游任务中的表现。通过对不同稀疏性水平的模型进行评估，发现下游任务的性能与预训练损失之间存在强相关性。
实验结果：
在语言理解和常识推理等任务中，稀疏模型的性能与预训练损失的关联性较强，表明预训练阶段的表现能够较好地预测下游任务的表现。 然而，在阅读理解任务中，稀疏模型的迁移性能较差，可能是由于其在推理时的计算量较低。
统计显著性：
通过对比不同稀疏性模型的下游任务表现，统计分析显示在某些任务上，稠密模型的表现优于稀疏模型，尤其是在需要更多推理的任务上。
结论与展望
本研究的贡献在于揭示了在固定训练计算预算下，稀疏性与模型参数之间的最佳权衡，强调了稀疏性在优化模型性能中的重要性。研究表明，增加参数数量而不显著增加每个示例的计算量，有助于提高模型的训练效率和性能。
未来的研究将集中在如何平衡FLOPs与参数数量，以最小化推理成本，并探索不同架构间稀疏性的应用。 进一步的实证研究将帮助验证这些发现，并为MoEs的设计提供更深入的理论支持。
