美国政府问责局（GAO）发布了一份关于生成式人工智能（AI）的报告，重点讨论了生成式AI的训练、开发和部署注意事项。
生成式AI能够根据用户提示生成文本、图像、音频或视频等新型内容，其训练需要大量数据和复杂模型。尽管存在多种生成式AI模型且已被大量使用，但商业开发者对其仍存在信任、安全和隐私方面的担忧。
报告概述了商业开发者用于负责任地开发和部署生成式AI的常见做法，包括基准测试、多学科团队评估、红队测试和隐私及安全政策。尽管这些措施有助于提高模型的可靠性，但开发者承认模型仍可能产生错误或输出偏差 ，存在被攻击的风险。
商业开发者面临的主要限制包括模型的不可靠性和用户对模型输出的误判风险。攻击者可以通过提示注入（见图1）和越狱等方法生成有害输出。为防止这些攻击，开发者采取了红队测试、监控和数据中毒防御等措施。
图1 针对生成式人工智能 (AI) 模型的提示注入攻击概述
商业开发者在开发和部署生成式人工智能技术时面临的挑战
模型的不可靠性 ：尽管商业开发者会持续监控模型，但模型仍可能产生错误或输出存在偏差。这些模型可能在某些应用中表现不稳定，用户在使用时需要谨慎判断模型的输出。 数据收集和处理的透明度问题：生成式AI模型的训练数据通常来自公开信息、第三方数据和用户数据，但具体的训练数据细节并未完全公开。开发者对这些数据的处理和存储方式也存在透明度问题，这使得外界难以评估其数据处理过程的有效性。 安全和隐私风险：生成式AI模型可能被攻击者利用，通过提示注入和越狱等方法生成有害输出。开发者需要采取红队测试、监控和数据中毒防御等措施来应对这些风险。 版权问题：在训练数据中使用公开信息可能涉及版权问题，开发者需要确保其数据收集和使用符合版权法规。一些开发者认为使用公开信息构成合理使用，但这一观点尚未得到明确的法律支持。 社会和环境影响：生成式AI技术的广泛应用可能带来社会和环境影响，开发者需要评估这些影响并采取相应措施。
数据建设
电话：010-84645772
网站：www.milthink.com
