就在今天凌晨,科技界再次被一颗重磅炸弹震撼——Meta 正式发布了 Llama 3.1 系列模型。
这不仅是一次技术的飞跃,更是开源人工智能领域的一次重大突破。搜狐科技从 Meta 官网获悉,Llama 3.1 系列模型包含 8B、70B 和 405B 三个尺寸,最大上下文提升至 128K,代码生成和复杂推理能力都得到了显著优化。
曾几何时,开源大模型在性能上总是被闭源模型压制,但如今,Llama 3.1 405B 的出现彻底颠覆了这一局面。它被誉为全球目前最强大的开源模型,其性能与 GPT 等主流闭源大模型不相上下。
Meta 在训练 Llama 3.1 上投入了巨大的努力,405B 版本使用了超过 15 万亿个 token 进行训练,并动用了超过 16000 个 H100 GPU 进行特训,这在历史上尚属首次。
测试结果显示,Llama 3.1 的表现令人瞩目。在 MMLU 标准中,超大杯 Llama 3.1 得分 88.6,虽然略低于 GPT-4 Omni,但其多任务知识理解能力依然出色。在 NIT/Multi-needle 标准中,更是拿下了 98.1 的高分,显示了其在复杂信息处理方面的卓越能力。
在代码生成能力方面,Llama 3.1 也展现出了与 GPT-4 Omni、Claude 3.5 Sonnet 相媲美的优势。
不仅超大杯表现卓越,8B、70B 两个尺寸的 Llama 3.1 模型同样不容小觑。Llama 3.1 8B 在性能上几乎完胜 Gemma 2 9B 1T,而 Llama 3.1 70B 也超越了 Mixtral 8x22B Instruct 和 GPT 3.5 Turbo。
Meta 官方表示,405B 版本的 Llama 3.1 完全有能力与 GPT-4、Claude 2 等领先闭源模型竞争。
随着模型的发布,扎克伯格也表达了他对开源人工智能的看法。他认为,开源人工智能是未来发展方向,就像当年开源 Linux 取代了闭源 Unix 一样。
扎克伯格强调,开源不仅对开发者有利,更安全且经济。他指出,尽管开源可能会让 Llama 3.1 面临更多的竞争,但保持竞争力、高效性和开放性是至关重要的。他还提到,开源能够避免权力集中,让更多人受益,这对于大模型的竞争也具有重要意义。