超越 GPT-3.5，谷歌开源轻量级模型 Gemma 2 2B：更小、更安全、更透明！

文摘 2024-08-02 12:44 美国

TLDR

• Google 推出 Gemma 2 系列 AI 模型，包括性能卓越的 Gemma 2 2B、安全分类器套件 ShieldGemma 和模型可解释性工具 Gemma Scope，主打更小、更安全、更透明。
• Gemma 2 2B 在性能上超越了所有 GPT-3.5 模型，并强调安全性和可访问性，可以在边缘设备上高效运行。
• ShieldGemma 旨在检测和减少 AI 模型输入和输出中的有害内容，为 AI 应用保驾护航。
• Gemma Scope 利用稀疏自编码器 (SAE) 深入分析模型决策过程，使 AI 模型更加透明易懂。
• Gemma 2 系列体现了 Google 对负责任 AI 的承诺，通过开源和协作推动 AI 行业安全标准的建立，共同构建更安全、更有益的 AI 未来。

引言：迈向负责任的 AI 时代

人工智能正在以前所未有的速度改变世界，从日常生活到科学研究，AI 的影响无处不在。然而，随着 AI 能力的不断增强，安全性和透明性问题日益凸显。如何构建更加安全、透明、负责任的 AI，成为摆在全人类面前的时代课题。

Google 带着他们的答案来了！

近日，Google 推出全新一代开源 AI 模型 Gemma 2，包含性能更强劲的轻量级模型 Gemma 2 2B，安全分类器套件 ShieldGemma 以及模型可解释性工具 Gemma Scope。Gemma 2 系列致力于打造更小、更安全、更透明的 AI，引领我们迈向负责任的 AI 时代。

Google Gemma 2：更小、更安全、更透明

Gemma 2 是 Google 基于负责任 AI 理念打造的新一代开源 AI 模型，包含 270 亿和 90 亿参数规模。自首次亮相以来，270 亿参数模型迅速成为 LMSYS 聊天机器人竞技场排行榜上排名最高的开放模型之一，甚至在真实对话中超越了规模超过其两倍的流行模型。

为了让 AI 真正造福人类，Gemma 2 不仅仅追求性能，更将安全性和可访问性置于首要位置。Gemma 2 系列包含以下三个重要组成部分：

1. Gemma 2 2B：轻量级模型，性能超越 GPT-3.5

Gemma 2 2B 是 Gemma 2 系列的轻量级模型，仅有 26 亿参数规模，远小于业界许多领先模型。然而，它却蕴藏着巨大的能量，在性能上毫不逊色， 甚至超越了所有 GPT-3.5 模型，以及 Mistral AI 的 Mixtral 8x7B，展现了其在对话式人工智能方面的卓越能力。

LMSYS 聊天机器人竞技场排行榜分数，采集于 2024 年 7 月 30 日。Gemma 2 2B 分数 +/- 10。

更令人惊叹的是，Gemma 2 2B 可以在资源有限的环境中运行，例如笔记本电脑、台式机或个人云基础设施，这意味着开发者和企业可以在更广泛的场景中部署和应用 Gemma 2 2B，而无需昂贵的高性能硬件。

Gemma 2 2B 具备以下技术细节：

• 文本到文本，仅解码器的大型语言模型
• 提供预训练和指令微调版本的开放权重
• 训练上下文长度为 8192 个token
• 目前仅支持英文

除了强大的性能表现，Gemma 2 2B 还具备以下优势:

• 广泛的硬件兼容性: Gemma 2 2B 可以在各种硬件上高效运行，从边缘设备（如智能手机、笔记本电脑）到强大的云部署，都能轻松应对，为开发者提供了极大的灵活性。
• 经济高效的部署: 相较于大型模型，Gemma 2 2B 的部署成本更低，运行效率更高，更易于开发者和企业进行部署和应用。
• 开源和商业友好: Gemma 2 2B 根据商业友好的 Gemma 条款提供，开发者可以将其用于研究和商业应用，推动 AI 技术在更多场景落地，加速 AI 的商业化进程。

Gemma 2 2B 的推出，打破了大型模型在性能上的垄断地位，为 AI 开发者提供了更多选择，也为 AI 应用走进千家万户打开了大门。

2. ShieldGemma：为 AI 应用保驾护航

随着 AI 应用的普及，安全问题日益凸显。为了保障 AI 应用的安全性和可靠性，Google 推出了 ShieldGemma，这是一套基于 Gemma 2 构建的、行业领先的安全分类器套件。ShieldGemma 旨在检测和减少 AI 模型输入和输出中的有害内容，为 AI 应用保驾护航，让用户可以更加放心地使用 AI。

ShieldGemma 作为 Gemma 2 的伴侣模型，专门用于过滤 AI 模型的输入和输出，以确保用户的安全。

ShieldGemma 针对以下四个关键危害领域进行识别和过滤:

• 仇恨言论： 识别和过滤带有仇恨、歧视、攻击性言论的内容，维护健康和谐的网络环境。
• 骚扰信息： 识别和过滤带有骚扰、攻击、威胁性质的内容，保护用户免受网络暴力的侵害。
• 色情内容： 识别和过滤色情、暴力等不适合未成年人接触的内容，为青少年营造健康的网络环境。
• 危险内容： 识别和过滤宣扬暴力、恐怖主义、自残等危险内容，维护社会公共安全。

生成式 AI 应用模型架构

ShieldGemma 提供 2B、9B 和 27B 三种模型规模，以满足不同应用场景的需求。同时，ShieldGemma 还利用 NVIDIA 速度优化来提高跨硬件的性能，确保其在各种设备上都能高效运行。

ShieldGemma 的推出，为 AI 应用的安全保驾护航，也为构建负责任的 AI 生态系统提供了有力支持。

3. Gemma Scope：揭开 AI 模型的神秘面纱

长期以来，AI 模型的决策过程对人类来说就像一个黑盒子，难以理解。为了增强 AI 的透明度和可解释性，Google 推出了 Gemma Scope，这是一款强大的模型可解释性工具。Gemma Scope 利用稀疏自编码器 (SAE) 深入分析模型决策过程，将 AI 模型的内部工作机制清晰地展示出来，使 AI 模型不再神秘莫测。

作为一款模型可解释性工具，Gemma Scope 可以让研究人员和开发人员深入了解 Gemma 2 模型的内部工作原理，并提供对模型决策过程的空前洞察。

*评估结果基于最佳 F1（左）/AU-PRC（右），越高越好。我们使用 𝛼=0 和 T = 1 来计算概率。ShieldGemma (SG) Prompt 和 SG Response 是我们的测试数据集，OpenAI Mod/ToxicChat 是外部基准测试。外部数据集上基线模型的性能来自 Ghosh 等人 (2024)；Inan 等人 (2023)。*

Gemma Scope 的主要功能包括:

• 开放式 SAE： Gemma Scope 提供了超过 400 个免费的 SAE，涵盖 Gemma 2 2B 和 9B 的所有层，为研究者提供了丰富的资源来分析和理解 Gemma 2 模型。
• 交互式演示： 开发者可以在 Neuronpedia 平台上体验 Gemma Scope 的强大功能，无需编写代码，即可直观地探索 SAE 特性和分析模型行为。
• 易于使用的存储库： Gemma Scope 提供了易于使用的代码库和示例，方便开发者将 Gemma Scope 集成到自己的项目中，并进行更深入的探索和研究。

Gemma Scope 的推出，为 AI 研究者和开发者提供了一个强大的工具，可以帮助他们更好地理解 AI 模型的工作原理，从而构建更加透明、可解释和可靠的 AI 系统。

开源与协作：共建负责任的 AI 未来

Gemma 2 系列体现了 Google 对负责任 AI 的承诺。Gemma 2、ShieldGemma 和 Gemma Scope 的开源性质鼓励了 AI 社区内的透明度和协作，有助于建立行业安全标准，共同构建更安全、更有益的 AI 未来。

Gemma 2 开启 AI 新时代

Gemma 2 系列的推出标志着 AI 发展进入了一个新的阶段。随着 AI 技术的不断成熟，安全、透明和负责任的 AI 将成为未来发展的主旋律。Google 将继续致力于推动 AI 技术的进步，并与全球开发者和研究者一起，共建更加美好的 AI 未来。