北京时间7月24号, Meta 正式发布 Llama 3.1开源大语言模型, 包含8B、70B 及 405B 参数版本。其中的Llama 3.1 405B模型，在多项基准测试中可以媲美GPT4、Claude3.5等目前最强的闭源大模型。此外，8B 与 70B 参数的 Llama 3.1 模型与其他参数量相似的闭源和开源模型相比，也同样具有竞争力。
01
6小时完成Llama 3.1适配
开发者基于MindSpore Transformers大模型套件，6小时完成Llama3.1-8b的微调及推理的迁移适配，并将代码开源至Gitee代码平台，面向所有开发者开放体验、调用，后续将同步上传至各大模型社区。
微调上，开发者利用大模型套件的权重转换工具，一行代码实现huggingface权重一键转化，同时通过使用MindFormers提供的Trainer等高阶易用性接口，仅需修改配置文件即可完成微调适配并成功跑通训练，loss曲线表明微调后训练任务稳定运行。
MindSpore Transformers llama3.1开箱流程
微调：
模型跑通后，Loss曲线显示微调任务稳定运行。
推理：
推理结果显示，可以看到基于MindSpore Transformers+昇腾AI处理器适配后的模型推理结果与Llama 3.1原生模型的结果完全一致，实现精度对齐。
02
关于MindSpore和MindSpore Transformers
昇思MindSpore是华为开源的首个业界全场景AI融合框架，原生支持AI大模型与科学智能。大模型开发套件MindSpore Transformers基于MindSpore内置的并行技术和组件化设计,构建了大模型训练、微调、评估、推理、部署的全流程开发套件，支持业内主流的Transformer类预训练模型和SOTA下游任务应用，可以帮助用户轻松的实现大模型训练和创新研发。
点击阅读原文，进入华为开源官网了解更多
