OpenAI对超级智能的治理，初窥AGI时代的公共治理之道
文摘
科技
2023-05-24 17:53
香港
在中英文两个不同的AGI开发者生态社区中，中文社区更多讨论AI技术所带来的生产力提升，更加侧重AI工具的开发与需求挖掘，对于已有产业结构的升级与改造，而在英文开发社区中，更加注重以Auto-GPT为代表的一种技术范式，实现完全自动化与高度智能化的AGI自动化任务执行。这两种技术路径的探索不同，意味着中文开发者社区与英文开发者社区，在未来所面临的AI风险与治理的区别。英文社区的AI大佬们对于AI的风险问题意识，要远远高于中国地区的科技公司高管。例如在OpenAI Charter 中可以看到，OpenAI从早期发展中，就始终将保持对AI安全性与以及合理的政策监管的考虑；在马斯克发起的停止GPT-5训练的呼吁中，中文区是缺席的。中文社区的开发者应该以全球开发者自居，更加主动的思考并探索，如何应对AGI时代的全球新风险，以及针对AGI的治理探索。在OpenAI最新的文章中，对于超级智能的治理，所提出的设想是成立国际监管机构，事实上，中国应该主动积极参与这一进程，否则AGI时代的技术秩序话语权将处于劣势，后续修正的成本将会是高昂的，这个修正成本不仅仅是经济效益的成本，更重要的是基于无处不在的AI道德规训的隐形侵入。正如《Despite “super-human” performance, current LLMsare unsuited for decisions about ethics and safety》这篇论文所提到：“当提示模型为其答案提供理由时，我们会遇到各种严重问题，包括对于最令人发指的情境的辩护和对于原始情境中不存在的事实的错觉。这些问题，再加上上述改写攻击和系统性不同的错误，明确表明当今的LLMs在进行伦理或安全考虑的决策方面是不合适的。”当AI突破伦理安全的边界时，以一种看似合理性的语境引导公众进入一种道德立场时，以大型语言模型为代表的对话式交流，将持续完善并构建这一道德立场的各种事实与理论的依据补充，AI公司得以通过“推理幻境”实现对公共领域的“道德规训”。从公共政策与个人隐私数据的保护出发，我们能否探讨一种分布式的AI治理模式，由于AI赋能了新一代超级个体的崛起，未来的个体将普遍拥有超越当前一般公司组织的海量数据，个体理应拥有参与公共对话更大的话语权。以DAO为代表了下一代组织范式，对于超级个体的数据确权与交易保障上，又将如何得到公共政策的支持与保障，这些都是我们当下即将面对的治理难题。现在是开始思考超级智能治理的好时机——未来的人工智能系统将比通用人工智能（AGI）甚至更具突破性能力。从我们目前所见的情况来看，可以想象在接下来的十年内，人工智能系统将在大多数领域超过专家水平，并且能够执行与今天最大的企业之一相当的生产活动。无论是在潜在的好处还是不利方面，超级智能将比过去人类所面临的其他技术更加强大。我们可以拥有一个极大繁荣的未来，但我们必须管理风险才能实现这一点。考虑到潜在的生存风险，我们不能仅仅采取被动应对的策略。核能是一个常用的历史例子，具有这种特性的技术；合成生物学是另一个例子。我们必须减轻当今人工智能技术的风险，但超级智能将需要特殊的处理和协调。在我们成功地引导这一发展过程中，有许多重要的想法需要我们密切关注。在这里，我们初步探讨了其中三个想法。首先，我们需要在主要开发努力之间实现一定程度的协调，以确保超级智能的发展方式既能确保安全，又能促进其与社会的无缝融合。这可以通过多种方式实现：各国政府可以共同设立一个项目，吸纳当前的众多努力；或者我们可以共同达成协议（在像下文所提到的新组织的支持下），将人工智能能力的边界增长速度限制在每年特定的比率内。当然，我们还应该对个别公司提出极高的责任要求，要求其行事严谨。其次，我们很可能最终需要类似于国际原子能机构（IAEA）的组织来监管超级智能的努力。任何超过特定能力（或计算等资源）门槛的努力都应受到国际权威机构的监督，该机构能够检查系统、要求进行审计、测试是否符合安全标准，对部署程度和安全级别等进行限制。追踪计算和能源使用情况可能会产生很大的效果，并且使我们对这一想法的实施能力抱有一些希望。作为第一步，公司可以自愿同意开始实施符合未来可能由该机构要求的一些要素，作为第二步，个别国家可以实施这一机构的框架。这样的机构应专注于降低潜在的生存风险，而不是解决应由个别国家处理的问题，比如定义人工智能所允许表达的内容。第三，我们需要具备技术能力来确保超级智能的安全性。这是一个开放的研究问题，我们以及其他人正在投入大量努力。我们认为，允许公司和开源项目在显著能力门槛以下开发模型是很重要的，而无需像我们在此处描述的那样进行监管（包括繁琐的许可证或审计等机制）。当前的系统将为世界创造巨大的价值，虽然它们确实存在风险，但这些风险水平与其他互联网技术相当，并且社会对其的应对措施似乎是适当的。相比之下，我们所关注的系统将拥有超越目前任何技术的能力，因此我们应当小心不要通过将类似的标准应用于远低于这个门槛的技术，从而削弱对这些系统的关注。然而，对于最强大的系统的治理以及涉及它们部署的决策，需要进行强有力的公众监督。我们认为全球人民应该以民主方式决定AI系统的界限和默认设置。尽管我们尚不清楚如何设计这样的机制，但我们计划进行实验来推动其发展。在广泛的界限内，我们仍然认为个体用户应对所使用的AI系统的行为具有较大的控制权。考虑到风险和困难，值得我们去思考，为什么要开发这项技术。在OpenAI，我们有两个基本原因。首先，我们相信这项技术将带来一个比我们今天能够想象的世界更美好的未来（在教育、创意工作和个人生产力等领域，我们已经看到了一些早期的例子）。世界面临着许多问题，我们需要更多的帮助来解决这些问题；这项技术可以改善我们的社会，并且每个人利用这些新工具的创造能力必定会让我们感到惊讶。经济增长和生活质量的提高将是令人惊叹的。其次，我们认为停止超级智能的创造在直觉上是一项具有风险和困难的任务。因为超级智能所带来的好处是如此巨大，每年建造它的成本都在降低，建造它的参与者数量也在迅速增加，而且它本质上是我们技术发展的一部分。要停止它的发展，需要类似于全球监控制度的措施，但即使采取这样的措施也不能保证取得成功。
在这里实现认知与资源的价值转化，并找到志同道合的AGI超级个体，并由此构建基于DAO模式的AGI协作与共创社区。1，顶尖AI论文的分享与解读，帮你抢先别人几个月的时间建立对前沿技术趋势的判断先机，其次，有机会参与AI论文沙龙，以及对接论文作者进行合作的可能；2，在这里分享优质的信息源，以及探索优质信息源如何助力个人事业，建立长期可持续的知识智库；（例如中英文社区的知识套利）3，关于AGI与Web3时代，个体与公司的发展战略分析，巩固基本盘与撬杠杠的发展策略；
