第三部分：安全挑战
从安全主义到加速主义：一个 major 的氛围转变已经发生
从美国国会听证会和全球巡回演讲来宣传（存在主义）AI安全议程的日子开始， 领先的 frontier 模型公司正在加速将其AI产品推广到消费者手中。
OpenAI的领导层斗争标志着对存在主义风险的反弹的开始
去年，实验室经常热情地参与有关关键风险的讨论。当这个问题升级为OpenAI的企业和商业斗争时， 一方明显占据了上风。
• 2023年11月17日，Sam Altman被非营利组织的董事罢免了OpenAI首席执行官的职务。 虽然全部情况尚不清楚，但Altman的批评者提到了所谓的保密文化 以及在安全问题上的意见分歧。
• 在员工的反对和OpenAI主要支持者微软的干预下， Altman恢复了职务，董事会也被替换。
• 超级对齐研究员Jan Leike离开，加入了Anthropic， 而联合创始人Ilya Sutskever离开，与前苹果人工智能主管Daniel Gross和前OpenAI工程师Daniel Levy一起创立了Safe Superintelligence Inc.
• 在OpenAI o1发布后不久， 有报道称OpenAI计划取消非营利控制权并授予Altman股权，随后宣布了一些人员离职—— 最引人注目的是首席技术官Mira Murati、首席研究官Bob McGrew和研究副总裁（后训练）Barret Zoph。
2023年预测：我们看到全球人工智能治理在高层自愿承诺之外进展有限
在2023年关于人工智能安全的激烈讨论之后， 英国在11月组织了一次人工智能安全峰会，将政府和行业聚集在布莱奇利公园，标志着一个更大进程的开始。
• 第一次人工智能安全峰会 产生了《布莱奇利宣言》，其中美国、英国、欧盟、中国和其他国家 承诺合作识别安全挑战并引入基于风险的政策。这延续了10月份七国集团国家 在广岛进程中做出的类似承诺。
• 随后在2024年5月在首尔举行了一次主题类似的峰会， 结果是欧盟、美国、英国、澳大利亚、加拿大、德国、法国、意大利、日本、韩国和新加坡同意开发可互操作的治理框架。
• 有证据表明，并非所有国家都 equally 地参与了这一进程。 例如，法国希望将讨论从安全问题上转移开， 将其在峰会上的发言定为“人工智能行动峰会”，该峰会将侧重于实现人工智能的益处。
• 此外，这项工作仍然是高层的，不具有约束力。 还有待观察，更有动力的政府是否能够保持这一势头。
