Meta 开发并公开发布了 Llama 2 系列大型语言模型 (LLM)，这是一系列经过预训练和微调的生成文本模型，参数规模从 70 亿到 700 亿不等。经过HuggingFace 微调的LLM大语言模型（ Llama-2-Chat）针对对话用例进行了优化。HuggingFace 认为在HuggingFace 测试的大多数基准上，Llama-2-Chat 模型的表现优于大多数开源聊天模型，并且在对可用性和安全性的人工评估中，与 ChatGPT 和 PaLM 等一些流行的闭源模型旗鼓相当。
Llama 2 70B是Llama-2模型的最大运行版本，现已登录HuggingChat，大家可以试用体验啦。
Llama 2 70B 访问地址：http://hf.co/chat
70B、7B 和 13B llama 2 演示现已上线huggingface
70B 地址：https://huggingface.co/spaces/ysharma/Explore_llamav2_with_TGI
7B 地址：https://huggingface.co/spaces/huggingface-projects/llama-2-7b-chat
13B 地址： https://huggingface.co/spaces/huggingface-projects/llama-2-13b-chat
Llama 2 系列token计数仅指预训练数据。所有模型均使用 4M tokens的global batch-size进行训练。更大的模型 - 70B - 使用GQA 来提高推理可扩展性。
训练数据
Llama 2 使用来自公开来源的 2 万亿tokens数据进行了预训练。微调数据包括公开可用的toklen数据集，以及超过100万个的新人工标注示例。预训练和微调数据集不包含元用户数据。
预训练数据的截止日期为 2022 年 9 月，但一些tuning数据更新时间为 2023 年 7 月。
相关论文下载："Llama-2: Open Foundation and Fine-tuned Chat Models"
