谷歌的 AI 驱动的合规平台 Checks by Google 现已正式发布。它检查应用程序的实际行为是否与其预期行为一致。
译自Checks by Google: AI-Powered Compliance for Apps and Code，作者 Loraine Lawson。
Google宣布推出其人工智能合规平台Checks by Google，正式向公众开放。该产品包含三个新产品，它们能检查应用、代码，以及人工智能模型的合规性问题，其中包括个人身份信息、政府监管要求，以及开发人员模型是否会提供有争议或不恰当的回复以“越界”。
Checks by Google是从Google孵化器诞生的，Checks by Google的联合创始人兼总经理Fergus Hurley说，它最初被用于内部测试Google自己的大型语言模型。
“我们向这些公司提供见解和工具，因为他们中的大多数人都没有所需见解和工具。我们的部分客户包括五大社交媒体应用、五大游戏、五大财务应用，这些公司资源非常丰富，但他们在完成自己的工作时缺乏所需的见解水平。我们弥合了开发团队和合规团队之间的差距。
Checks by Google 与 Vertex（Google Cloud 提供的用于生成式 AI 的产品）集成，但也可以配合使用其他主流模型提供商。Vertex 提供 150 多个生成式 AI 模型，包括 Anthropic 的 Claude 和 Mistral。
App 合规
Google Checks 提供三项服务：App Compliance（现已推出）、Code Compliance 和 AI Safety（目前处于封闭测试阶段，有候补名单）。
App Compliance 会检查应用、网站或服务是否遵守有关收集用户数据的规则。例如，它可以检查是否遵守欧洲的 GDPR、加州的 CCPA 以及巴西的 LGPD。
“我们会根据世界各地的不同法规了解应用需要做什么，”Hurley 说，“我们涵盖这些规则，如果你在这些地区拥有用户，我们便会开启这些检查。”
App Complianc 还可以针对公开使用的应用运行分析，以根据任何组织性隐私政策进行检查。他说该分析依赖经微调以了解隐私政策的 LLM，将隐私政策与该应用或产品实际正在执行的活动进行比较，并执行动态和静态分析。例如，Checks 在真实的物理设备上运行应用并监控来自这些应用的网络流量以及用户体验。
“我们已让一台智能 AI 爬虫去检查该应用实际在做什么。它能够玩游戏，如果向它提供了登录凭证，它还可以登录到该应用，但它只是一款智能 AI 爬虫。” —— Google 旗下 Checks 的联合创始人兼总经理 Fergus Hurley
“我们已经构建了自己的经过微调的模型以用来理解隐私政策，并且该模型现已在 Google 的许多团队中使用，”他说。“我们能够从合规角度发现产品可能存在的问题。我们有一个智能 AI 爬虫正在查看应用程序的实际操作。它能够玩游戏，如果向我们提供了登录凭据，它还能够登录到应用程序，但它是一个智能 AI 爬虫。”
Hurley 指出，联合创始人 Nia Cross Castelly 是一位律师，尽管 Hurley 告诫说 AI 并未提供法律建议。
“她负责 Google Play 政策，开发人员会非常密切地遵守这些政策，以获得数十亿用户的访问权限，”他说。“所以我们确实有律师监督这些内容，但我们并未提供法律指导。这一点很重要。”他补充道，
相反，AI 只是提供见解和工具，从而弥合格局开发团队与合规团队之间的鸿沟。
Code Compliance
代码合规处于封闭测试阶段，使开发人员在应用程序发布前应对监管问题。Hurley 说，它可以集成到一个 IDE 中，以便开发人员在 IDE 中直接收到有关集成到其构建系统中的问题的警报。
代码合规性提供有关关键问题的的信息，其中可能包括安全问题，但也可能检测到例如过时的 SDK。
“我们还帮助人们在 Google Play 上创建、管理和维护他们的安全标签，”他说。“那是圣杯，能够成为人们需要去的地方，以获得所有合规性见解。”
AI 安全
第三个产品正在封闭测试中，是 AI 安全。
Hurley 说，开发人员在 AI 和AI 驱动的应用程序中需要解决三个主要问题。首先，他们需要能够设置自己的策略，他称之为“对齐阶段”。在此阶段，他们确定哪些策略与他们及其网站或应用程序相关。
其次，他们需要进行评估，以确保这些策略符合他们最初的模型发布，反之亦然。第三，在实际发布 GenAI 产品后，开发人员需要确保它在野外正常运行。
“我们构建了一个产品来帮助解决这些部分中的每一个，作为这个 AI 安全产品的一部分，所以实际上，它试图在这里建立治理指挥中心，”他说。“在第一阶段，对齐，人们希望能够配置他们的策略，而现在，我们支持每个通用产品真正需要的核心策略，围绕暴力、仇恨言论和敏感数据——例如 PII（个人身份信息）。”
他说，评估阶段帮助开发人员确定策略是否符合他们最初的模型发布，反之亦然。他说，在这个阶段，该产品使用 Google 内部开发的提示进行红队攻击和副词测试。
Google 检查框架的屏幕截图
红队攻击是一种安全测试技术，它涉及模拟对系统或组织的恶意攻击，以识别漏洞并评估弹性。这个名字来自一个受控的战争游戏，其中一个红色团队试图突破目标的安全性，而一个蓝色团队则进行防御。对抗性测试是一种软件测试，它涉及故意尝试通过引入意外或恶意输入来破坏应用程序或系统。它有助于发现可能被恶意行为者利用的弱点。
“开发人员在构建完模型后会遇到一个难题，那就是想出这些对抗性提示，而我们拥有庞大的对抗性提示库，这非常有价值，这也是我们利用 Gemini 和 Gemma 以及其他 Google 团队所做的大量工作的地方，”他说，并补充说它还包含了这些团队开发的最佳实践。“我们将这些提示针对开发人员模型运行，并确保形成该模型的响应是开发人员想要的。”
这一步不容小觑。AI 模型不仅会产生可能在公众面前令人尴尬的陈述，而且还会提供错误的信息，从而给公司造成经济损失。
“人们有时会试图让模型做一些它们不应该做的事情，”他说。“最公开的案例之一是加拿大航空公司的一个案例，他们的代理人回复说这个人可以获得退款。最终发生的事情是加拿大航空公司说，‘不，根据这些条件，你不能获得退款。’”
他说，这导致了一场诉讼，最终加拿大航空公司不得不提供退款。
“现在已经设定了规则，公司对其 GenAI 代理所说和所做的事情负责，他们确实有这种责任，”他说。“确保代理人遵守公司的政策至关重要，但这是防止模型根据公司的政策进行微调以仅谈论公司实际提供的服务的公开示例之一。”
“开发人员在构建完模型后会遇到一个难题，那就是想出这些对抗性提示，而我们拥有庞大的对抗性提示库，这非常有价值，这也是我们利用 Gemini 和 Gemma 以及其他 Google 团队所做的大量工作的地方。”
— Fergus Hurley
第三，一旦 GenAI 产品发布，开发人员需要能够监控它在实际环境中的行为是否正确。例如，曾经有一家公司发布了一个通用 AI 代理来满足特定用例，但人们发现他们可以“破解”它并免费访问实际上使用起来非常昂贵的模型。
“最重要的是确保事情不会偏离轨道，并制定相应的保障措施，”他说。“我们有一个护栏产品，它会监控输入提示和输出提示，并检测问题，例如不应该到达模型的输入提示，比如有人试图破解模型，然后在输出方面，模型不应该暴露任何 PII，并且应该有许多保障措施来防止这种情况发生。”
他指出，如果开发人员不想自己进行微调，他们可以使用护栏来自动创建监控和保障措施。
“他们可以进入并选择输入护栏，[例如]我想开启破解预防，”他说。“假设他们已经用不同的敏感度阈值配置了这些不同的护栏，那么他们就可以配置输出阈值，然后将其作为模型的一部分部署到生产环境中。”
护栏充当模型的过滤器，而不是直接对其进行微调。他补充说，过滤器不会显着影响性能。
可根据行业和重点定制
他补充说，谷歌提供的检查也可以根据行业进行定制。例如，如果一个应用程序处理儿童数据，那么该应用程序必须遵循非常具体的规则。
“我们与一些最大的儿童游戏公司合作，”他说。“你可以想象医疗保健和金融或其他受严格监管的主要行业都有自己非常具体的需求，而目标是随着时间的推移建立起这个检查生态系统，让人们能够开启与他们的业务最相关的检查。”
Hurley 说，谷歌产品的检查涵盖了所有类型的开发人员；他们看到前端开发人员，以及后端和全栈开发人员都在使用这些工具。
目前，开始使用是免费的，尽管一些企业比较复杂，确实需要付费服务来帮助他们进行合规性，他说。
