进网络安全行业群
本文档的范围是创建解决方案类别领域的共享定义,解决LLM和生成式AI生命周期的安全性,从开发到部署和使用。这种一致性支持OWASP十大LLM成果列表和CISO网络安全和治理清单。为了实现这一目标,该文档将创建一个初始框架和类别描述符,利用开源解决方案,并为解决方案提供商提供机制,使其产品与特定的覆盖范围保持一致。
随着基因人工智能的发展,用户和个人发展带来了新的风险,这些风险会影响组织的战略制定和投资。随着这些风险的发展,风险缓解策略、技术、框架和税收也在发展。为了帮助在公关中获得安全性,有关新兴技术和解决方案领域的对话必须适当地与AI安全解决方案的明确业务成果保持一致。必须正确定义人工智能安全解决方案的业务成果,以帮助安全领导者制定预算。
许多组织已经在各种安全工具上投入了大量资金,例如漏洞管理系统,身份和访问管理(IAM)解决方案,端点安全,动态应用程序安全测试(DAST),可观察性平台和安全CI/CD(持续集成/持续部署)工具,仅举几例。然而,这些传统的安全工具可能不足以完全解决人工智能应用程序的复杂性,导致恶意行为者可以利用的保护漏洞例如,传统的安全工具可能无法充分解决LLM和Gen AI应用程序中的独特数据安全和敏感信息披露保护问题这包括但不限于保护提示、输出和模型训练数据中的敏感数据的挑战,以及加密、编辑和访问控制机制等特定缓解策略。
LLM防火墙、AI专用威胁检测系统、安全模型部署平台和AI治理框架等紧急解决方案试图解决AI/ML应用程序的安全需求,然而,AI/ML技术及其应用的快速发展推动了解决方案的爆炸式增长,这只会加剧组织决定在哪里分配安全预算。
人工智能、算力算网
↓