语言模型更新与解释：新版法语CamemBERT，更新知识；稀疏自编码器解释激活引导向量，大模型控制与调整
CamemBERT 2.0: A Smarter French Language Model Aged to Perfection
2024-11-13｜Inria|🔺12
http://arxiv.org/abs/2411.08868v1
https://huggingface.co/papers/2411.08868
https://huggingface.co/almanach?search_models=camembert+v2
研究背景与意义
在自然语言处理（NLP）领域，法语模型如CamemBERT自发布以来，因其出色的表现而被广泛采用，尤其是在工业界和学术界。然而，随着时间推移，模型面临的一个重大挑战是“时间概念漂移”，即由于训练数据的过时，模型在处理新主题和术语时性能下降。这一问题促使研究者们不断探索更新模型的方法，以确保其适应当前语言趋势。
本文提出了两个新版本的CamemBERT模型——CamemBERTav2和CamemBERTv2，旨在解决这一挑战，并通过基于DeBERTaV3和RoBERTa架构的改进，提升模型的性能和适应性。
研究方法与创新
本研究的核心创新在于引入了两种新架构：CamemBERTav2基于DeBERTaV3架构，采用了替换令牌检测（RTD）目标，以实现更好的上下文理解；而CamemBERTv2则基于RoBERTa架构，使用掩蔽语言建模（MLM）目标。
两者均在更大且更新的数据集上进行训练，同时引入了更新的分词器，以更好地捕捉法语的复杂性。这些创新使得新模型在多个NLP任务上表现优异，尤其是在处理医疗领域的特定应用时。
实验设计与结果分析
在实验中，研究者对这两个新模型进行了广泛的评估，涵盖了通用领域和特定领域的NLP任务。结果显示，CamemBERTav2和CamemBERTv2在命名实体识别（NER）、问答（QA）和文本分类等任务上均显著优于其前身CamemBERT，尤其是在医学领域的应用中，表现出色。
这些结果表明，更新的模型不仅在通用任务上具有更高的准确性，还在专业领域展示了良好的适应性和鲁棒性。
结论与展望
本文提出的CamemBERTav2和CamemBERTv2在法语语言建模方面取得了显著进展，展示了在各类NLP任务中的强大性能。 未来的研究应继续关注模型架构和训练目标的改进，同时确保数据集的更新，以应对语言演变带来的挑战。通过持续的模型更新和数据集优化，可以最大限度地提高模型在实际应用中的相关性和实用性。
Can sparse autoencoders be used to decompose and interpret steering vectors?
2024-11-13｜Oxford, Oxford, Oxford|🔺8
http://arxiv.org/abs/2411.08790v1
https://huggingface.co/papers/2411.08790
https://github.com/HarryMayne/SV_interpretability
研究背景与意义
在大型语言模型的控制和调节方面，steering vectors（激活引导向量）作为一种新兴方法，展现出很大的潜力。尽管这些方法在调节模型行为（如谄媚、无害性和拒绝能力）方面取得了一定的经验性成果，但其背后的机制仍然不够清晰。
本文探讨了如何通过稀疏自编码器（SAEs）来解释steering vectors，并指出直接应用SAEs的局限性。研究表明，steering vectors往往超出了SAEs设计的输入分布，并且在特征方向上可能具有有意义的负投影，这使得SAEs在解释steering vectors时产生误导性分解。通过识别这些问题，本文为未来的研究提供了重要的启示。
研究方法与创新
本文的创新之处在于对steering vectors进行深入的理论分析，识别出两大主要问题：
超出分布问题：steering vectors的L2范数明显小于模型激活的范数，导致SAE编码器的偏差项对分解的影响过大，从而掩盖了steering vectors的实际贡献。 负重构系数的限制：SAEs仅允许非负重构系数，无法捕捉steering vectors在特征方向上的负投影，导致对steering vectors的解释出现偏差。
通过对比现有技术，本文提出了一种新的方法，即在SAE基础上直接学习steering vectors，以克服上述问题。这种方法不仅保持了输入的分布一致性，还允许负系数的计算，从而为steering vectors的解释提供了更为准确的视角。
实验设计与结果分析
在实验部分，研究者使用了corrigibility steering vectors作为案例研究，利用对比激活添加方法提取steering vectors，并通过SAEs进行分解。实验结果显示，直接应用SAEs进行分解时，重构的向量常常无法保留原始steering vectors的特性。
具体而言，实验发现，51.2%的特征在负提示中激活更强，而SAEs却将这些特征的激活值设为0，从而导致误导性的解释。此外，研究者还发现，多个steering vectors在特征方向上具有显著的负投影，这进一步验证了SAEs在处理steering vectors时的局限性。
结论与展望
本文的研究揭示了使用SAEs直接分解steering vectors的局限性，强调了在未来的研究中需要开发新的方法来有效处理steering vectors的负投影问题。通过对steering vectors进行更深入的理解，研究者可以更好地设计出能够有效调节大型语言模型行为的工具。
未来的工作将集中在开发新的稀疏近似技术，以解决当前方法中存在的挑战，并探索如何在保持模型性能的同时提升steering vectors的解释能力。
