Layer Skip 是一种端到端的解决方案，旨在加速大型语言模型（LLM）在新数据上的生成时间，而无需依赖专用硬件或软件。该方法通过执行部分层并利用后续层进行验证和修正，从而提高了模型的性能。Meta发布了 Layer Skip 的推理代码和微调检查点，包括 Llama 3、Llama 2 和 Code Llama，这些模型经过优化后能够显著提升早期层退出的准确性，性能提升可达 1.7 倍。
参考：
https://github.com/facebookresearch/LayerSkip https://arxiv.org/abs/2404.16710
点个分享、点赞与在看，你最好看~
