什么是AGI ？
“AGI是通用人工智能（Artificial General Intelligence）的英文的缩写，它是指一种具有像人类一样广泛智能能力的人工智能系统，能够像人类一样理解和处理各种不同领域的问题，而不是仅仅针对特定领域进行优化的AI系统。
与目前的大多数AI系统不同，AGI不仅能够处理和分析数据，还可以进行类比、推理、判断和决策等高级智能活动。这种智能不受限于任何特定领域或任务，而是具有广泛的应用潜力。如果实现了AGI，那么这将是一个真正的突破，使得人类正式迈入强人工智能时代，人类科技文明迎来真正的奇点。”—— ChatGPT
事实上，国内开发者对于AI的认知更多依赖于GPT为代表的大型语言模型，探索AI在落地性产品中，带来的各种新的商业机遇。而Auto-GPT在英文社区火爆流行，在国内却更多被人诟病为“不实用”的开源项目，事实上，这些都是极其短见的看法。Auto-GPT事实上代表了AI开发者们对于从工程项目上，实现完全通用的自动化任务执行的AI Agent充满了热情。
英文社区的开发者对于探索AGI充满了热情与兴趣，而中国开发者则普遍缺乏对这一技术路线的探索热情。Auto-GPT与BabyAGI在推特的AI开发者圈一直保持的热度，反映了英文开发者社区更倾向于直接梭哈AGI.
在微软发布的《Sparks of Artifificial General Intelligence: Early experiments with GPT-4》这篇报告中，微软研究团队得出一个结论——“GPT-4 实现了一种通用智能，点燃了未来通用人工智能的火花。”
“我们工作的中心主张是，GPT-4实现了一种形式的通用智能，确实显示出了人工通用智能的星星之火。这 可以从它的核心心智能力(如推理、创造力和演绎)、它获得专业知识的主题范围(如文学、医学和编码)以及 它能够执行的各种任务(如玩游戏、使用工具、解释自己……)。要创建一个有资格成为完整AGI的系统，还 有很多工作要做。我们通过讨论几个直接的下一步步骤来总结本文，包括定义AGI本身，为AGI构建llm中缺 失的一些组件，以及更好地理解最近的llm所显示的智能的起源。”
《通用人工智能的火花：GPT-4的早期实验》
"为什么是OpenAI ？" 这是一个很多人都在反复提问的问题，国内的AI大佬张俊林在《通向AGI之路：大型语言模型（LLM）技术精要》一文中提到——“OpenAI的理念比较超前，对自我定位从一开始就定得比较高，始终坚定不移地探索上述方式是否可以实现AGI。OpenAI之所以能作出ChatGPT，胜在一个是定位比较高，另一个是不受外界干扰，态度上坚定不移。”
我们可以回顾下它走的一些关键路程：GPT 1.0走的是生成模式的自回归语言模型路线，比Bert出来的还早些。Bert证明了：双向语言模型对于很多NLP理解类任务，效果比自回归这种单向语言模型效果更好。尽管如此，GPT 2.0并没有因此切换到双向语言模型这条路上，仍然走文本生成的路，而且开始尝试零示例（zero shot）prompt和少量示例（few shot）prompt。
其实这时候， OpenAI心目中的AGI已经开始浮出水面，逐渐显示出轮廓了。只是因为zero shot/few shot效果比Bert+fine-tuning差的比较远，所以大家都没太当回事，甚至不理解它为什么要始终坚持走单向语言模型的路线。这个时候，我估计即使是OpenAI自己，也不一定能确保这条路肯定能走通。
但是，这不妨碍它继续在这条路上往后走。GPT 3.0已经展示出了比较强大的zero shot/few shot prompt能力，这时候OpenAI心目中的AGI已经完全漏出水面，轮廓清晰，而且它的效果也证明了这条路，是有较大可能走得通的。GPT 3.0是一个决定LLM发展方向的叉路口和分水岭，与之对应的另外一条路是“Bert+fine-tuning”模式。
在这个岔路口，不同的从业者选择走上了不同的道路，后面的技术差距也是从这里开始拉开的。很遗憾地是，国内很多从业者选择继续在“Bert+fine-tuning”这条路上往后走，这也是造成今天落后局面的一个关键时间节点。再往后，就是InstructGPT和ChatGPT了，OpenAI通过ChatGPT证明了一点；虽然我们距离真正的AGI，可能还有很长的路要走，但是通过超大LLM走向AGI这条路，目前看是可行的。
《通向AGI之路：大型语言模型（LLM）技术精要》—— 张俊林
在《Harnessing the Power of LLMs in Practice: A Survey on ChatGPT and Beyond》这篇论文中所出现的一张语言模型的技术路线图中，在2018~2019年的技术路线中，Encoder-only，Encoder-Decoder，以及Decoder-only分别代表了不同的未来。Decoder-only的技术路线，2018年-2021年，只有OpenAI和谷歌，而OpenAI直接深入这一技术路线投入了巨大的人力和成本 ，直接推出了GPT-1、GPT-2、GPT-3三代产品，最终基于GPT-3.5推出ChatGPT，并震惊世界，正式开启了AI数十年来最关键的一次AI革命，并将AGI从技术叙事中，带入即将发生的技术现实。
我对这一问题反复咀嚼了很久，但在看了OpenAI在2018年撰写的这个OpenAI Charter，大概突然开窍了，同时也应解答了困扰很多人的那个问题：为什么是OpenAI ？也许2018年之时，OpenAI内部对于AGI已经有了关于AGI系列问题非常深刻的认知与共识。也正是对于AGI方向的笃定，以及计划通过迭代渐进的方式实现AGI，并对此进行长达数年的全面准备。
OpenAI内部最新版本的GPT估计已经无限接近AGI，正如Sam Altman在《Planning for AGI and beyond》中写到：
“As our systems get closer to AGI, we are becoming increasingly cautious with the creation and deployment of our models. / 随着我们的系统越来越接近 AGI，我们对模型的创建和部署变得越来越谨慎。”
《Planning for AGI and beyond》和《OpenAI charter》这两篇博客，有助于我们理解，OpenAI对于AGI的看法，如何实现以及如何应对，因此将这两篇博客翻译为中文，希望引起更多从业者思考AGI的未来发展，并提前做好相应的准备。
Planning for AGI and beyond
原文：Sam Altman 2023
翻译：ChatGPT
我们的使命是确保人工通用智能——普遍比人类更聪明的AI系统——造福于全人类。
如果成功创建AGI，这项技术可能通过增加丰富度、加速全球经济发展，并帮助发现改变可能性限制的新科学知识，帮助我们提升人类的水平。
AGI拥有让每个人拥有令人难以置信的新能力的潜力；我们可以想象一个世界，在这个世界中，我们所有人都可以获得帮助，几乎可以处理任何认知任务，为人类的机智和创造力提供巨大的力量倍增器。
另一方面，AGI也会带来严重的滥用风险、严重的事故和社会破坏。
由于AGI的优势如此巨大，我们认为让社会永远停止其发展是不可能也不可取的；相反，社会和AGI开发者必须找出如何使其正确运作的方法。（A）
虽然我们无法准确预测会发生什么，当然我们当前的进展也可能遇到瓶颈，但我们可以表达我们最关心的原则：
1. 我们希望AGI能够让人类在宇宙中最大限度地繁荣。我们不指望未来是一个完美的乌托邦，但我们希望最大化好处，最小化坏处，让AGI成为人类的增益器。
2，我们希望AGI的好处、使用和治理能够广泛而公平地分享。
3，我们希望成功地应对巨大的风险。在面对这些风险时，我们承认理论上正确的做法在实践中可能会出现意想不到的情况。我们相信，我们必须不断学习和适应，通过部署技术的较弱版本来最小化“一次机会就成功”的情况。
短期
现在有几件事情我们认为准备AGI是很重要的。
首先，随着我们创建越来越强大的系统，我们希望部署它们并在现实世界中获得操作经验。我们认为这是谨慎地引领AGI诞生的最佳方式——渐进地过渡到一个拥有AGI的世界比突然出现AGI更好。我们预计强大的AI将使世界的进步速度大大加快，我们认为逐步适应这种变化会更好。
渐进式转型使得人们、决策者和机构有时间了解发生了什么，亲身体验这些系统的利弊，调整我们的经济，并制定相应的监管措施。
这也允许社会和人工智能共同演化，让人们在风险相对较低的情况下集体找出他们想要的东西。
我们目前认为，成功应对人工智能部署挑战的最佳方式是通过快速学习和谨慎迭代的紧密反馈循环。
社会将面临关于AI系统被允许做什么、如何对抗偏见、如何处理工作替代等重大问题。最佳决策将取决于技术的发展方向，而像任何新兴领域一样，大多数专家的预测到目前为止都是错误的。这使得在真空中进行规划非常困难。(B)
总体而言，我们认为世界上更多的人工智能应用将带来好处，并希望促进其发展（通过将模型放入我们的API中、开源它们等方式）。
我们认为普及化的访问将促进更多更好的研究，分散的权力，更多的利益，以及更广泛的人们贡献新思想。
随着我们的系统接近AGI，我们对我们模型的创建和部署变得越来越谨慎。我们的决策将需要比社会通常对新技术应用的谨慎程度更高，也比许多用户希望的谨慎程度更高。
有些人在AI领域认为AGI（和后继系统）的风险是虚构的；如果他们最终证明是正确的，我们会感到高兴，但我们将按照这些风险具有生存意义的假设进行操作。
在某个时刻，部署人工智能的好处和坏处的平衡（如赋予恶意行为者权力、造成社会和经济混乱、加速不安全竞赛等）可能会发生转变，届时我们将大幅改变持续部署的计划。
随着我们的系统越来越接近人工智能通用智能（AGI），我们对模型的创建和部署变得越来越谨慎。
其次，我们正在努力创建越来越具有对齐性和可操纵性的模型。我们从第一版 GPT-3 这样的模型向 InstructGPT 和 ChatGPT 这样的模型的转变是一个早期的例子。
我们特别认为，重要的是让社会在 AI 的使用方面达成极为广泛的共识，但在这些范围内，个人用户则拥有很大的自主权。
我们最终希望世界上的机构能够就这些广泛界限达成一致；在短期内，我们计划进行外部输入的实验。
世界各地的机构需要加强其能力和经验，以便为关于超级智能的复杂决策做好准备。
我们的产品的“默认设置”可能会非常受限制，但我们计划让用户轻松更改他们正在使用的AI的行为。我们相信赋予个人做出自己的决策的能力，以及思想多样性的潜在力量。
随着我们的模型变得更加强大，我们需要开发新的对齐技术（并测试了解当前技术的失败情况）。在短期内，我们的计划是利用人工智能帮助人类评估更复杂模型的输出并监测复杂系统，在长期内，我们计划利用人工智能帮助我们提出更好的对齐技术的新思路。
重要的是，我们认为在AI安全性和功能方面的进展通常需要同时进行。把它们分开讨论是一种虚假的二元论；它们在许多方面是相关的。我们最好的安全工作是与我们最具有能力的模型合作完成的。尽管如此，重要的是安全进展和能力进展的比率增加。
第三点，我们希望全球进行一场有关三个关键问题的对话：如何治理这些系统，如何公平分配它们所产生的利益，以及如何公平共享它们的使用权。
除了这三个方面，我们还试图建立一种结构，使我们的激励与良好结果保持一致。我们的章程中有一条关于帮助其他组织推进安全性而不是与他们一起参与后期AGI开发竞争的条款。
我们设定了股东的回报上限，这样我们就不会被激励去不断获取价值，并冒着部署可能会引发灾难性危险的风险（当然，这也是为了与社会分享好处的一种方式）。
我们有一个非营利机构来管理我们，使我们能够为人类的利益而运营（并可以覆盖任何盈利利益），包括让我们做出一些行动，例如取消我们对股东的权益义务，以确保安全，并赞助世界上最全面的UBI实验。
我们尝试以一种有利于好的结果的方式建立我们的结构。我们认为，像我们这样的努力在发布新系统之前提交独立审计非常重要；我们将在今年晚些时候详细讨论这个问题。
在某个时候，可能需要在开始训练未来系统之前获得独立审查，对于最先进的努力，需要同意限制用于创建新模型的计算增长率。
我们认为，制定公共标准来确定何时停止训练、何时决定模型可以安全发布或何时将模型从生产使用中撤出是非常重要的。
最后，我们认为重要的是，主要的世界政府可以获取有关一定规模以上的训练运行的信息。
长期
我们认为，人类的未来应该由人类决定，重要的是与公众分享进展的信息。所有试图构建AGI的努力都应该受到严格的审查，并就重大决策进行公开咨询。
首个通用人工智能只是智能连续谱上的一个点。我们认为未来智能的进步将可能持续并保持过去十年的进展速度很长一段时间。
如果这是真的，那么未来的世界可能会与今天截然不同，并且风险可能是非常巨大的。一个未对齐的超级智能 AGI 可能会给世界带来严重的伤害；一个拥有决定性超级智能优势的独裁政权也可能会如此。
能够加速科学发展的人工智能是一个值得思考的特殊情况，也许比其他所有情况都更具有影响力。如果一个足够强大的AGI能够加速自身的进展，它可能会使重大变化在很短时间内发生（即使转变开始缓慢，我们也预计在最后阶段它会发生得相当快）。
我们认为，一个较慢的起飞速度更容易保持安全，而协调各个AGI项目在关键时刻减速可能非常重要（即使在不需要解决技术对准问题的情况下，减速也可能非常重要，以便让社会有足够的时间去适应）。
成功地迈向一个超智能世界或许是人类历史上最重要、最充满希望、最可怕的项目。成功远非保证，而利益的飞跃(无限制的下降和无限制的上升)有望联合我们所有人。
我们可以想象一个人类繁荣的世界，这种繁荣程度可能是我们中任何人都无法完全想象的。我们希望为世界贡献一个与这种繁荣相一致的AGI。
注脚
A. 相较于我们早期预期，我们似乎得到了很多意外的收获：例如，创建AGI似乎需要巨大的计算量，因此世界将会知道谁在从事这方面的研究，初始的超进化强化学习代理相互竞争、演化出人类难以观测的智能的构想似乎不太可能实现，几乎没有人预测到我们会在预训练语言模型方面取得这么大的进展，它们可以从人类的集体喜好和输出中学习，等等。
AGI可能会在不久的将来或遥远的未来出现；从初始AGI到更强大的后继系统的起飞速度可能会很慢或很快。我们中的许多人认为，这个二乘二矩阵中最安全的象限是短时间轴和缓慢的起飞速度；更短的时间轴似乎更容易协调，也更可能由于计算超额的减少而导致起飞速度变慢，并且较慢的起飞速度给我们更多的时间去实证地解决安全问题和适应问题。
B. 例如，当我们刚开始创建OpenAI时，我们并没有预料到扩展性会像现在这么重要。当我们意识到它将是至关重要的时候，我们也意识到我们最初的结构不会起作用——我们简单地无法筹集足够的资金作为非营利组织来实现我们的使命，因此我们提出了一种新的结构。
作为另一个例子，我们现在认为我们最初的开放思路是错误的，并已经从认为我们应该公开发布所有内容（虽然我们会开源一些东西，并期望在未来开源更多激动人心的东西！）转变为认为我们应该想办法安全地分享系统的访问和好处。我们仍然相信，让社会理解正在发生的事情的好处是巨大的，并且启用这样的理解是确保建造的是社会共同想要的最好方法（显然，这里有很多细微差别和冲突）。
OpenAI Charter
作者：OpenAI 2018
翻译：ChatGPT
本文档反映了我们在过去两年中不断完善的战略，包括来自OpenAI内部和外部的许多人的反馈。
到达人工通用智能的时间表仍不确定，但我们的宪章将指导我们在其发展过程中为人类的最大利益行事。
OpenAI的使命是确保人工通用智能（AGI）受益于全人类。我们所说的AGI是指高度自主的系统，在大多数经济上有价值的工作中胜过人类。
我们将尝试直接构建安全和有益的AGI，但如果我们的工作帮助其他人实现了这个目标，我们也认为我们的使命已经完成。为此，我们承诺遵循以下原则：
广泛分布的好处
我们承诺利用我们获得的任何对AGI部署的影响力，确保其用于造福所有人，并避免促使人工智能或AGI的使用对人类造成伤害或过度集中权力。
我们的首要受托责任是面向全人类的。我们预计需要调动大量资源来履行我们的使命，但我们始终会尽最大努力减少员工和利益相关者之间可能危及广泛受益的利益冲突。
长期安全
我们致力于进行必要的研究，以确保 AGI 的安全，并推动这些研究的广泛采用，覆盖整个 AI 社区。
我们担心晚期AGI的开发将成为一个没有足够安全预防措施时间的竞争赛。
因此，如果一个价值观一致、注重安全的项目在我们之前接近构建出AGI，我们承诺停止与其竞争并开始协助该项目。
我们将根据具体情况制定协议，但是一个典型的触发条件可能是“在接下来的两年内成功的可能性超过50%。”
技术领导力
为了有效地应对 AGI 对社会的影响，OpenAI 必须处于人工智能能力的前沿——仅仅进行政策和安全倡导是不够的。
我们认为在AGI之前，AI将对社会产生广泛的影响，我们将努力领先于那些与我们的使命和专业知识直接相关的领域。
合作导向
我们将积极与其他研究和政策机构合作；我们希望创建一个全球社区，共同努力解决人工通用智能的全球挑战。
我们致力于提供公共物品，帮助社会应对通往人工通用智能（AGI）之路的挑战。
今天，这包括发布我们大部分的人工智能研究，但我们预计安全和安全问题将减少我们将来的传统出版，同时增加分享安全、政策和标准研究的重要性。
我们都应该去思考AGI时代的个人命运
创造一个人类繁荣到无法想象的世界，是AGI叙事中的至高理想。AGI的美好一面，能够将人类从劳动中解放出来，人类可以自由追求生命的价值与意义，AGI使得这一伟大的愿景成为事实，而非一种乌托邦的假想。
是的，从人工智能诞生之起，AGI就是那似乎遥不可及的理想。而如今似乎在不远的将来即将实现。
我们需要进一步认真了解AGI是什么，以便在真正的巨变来临之时，我们能够适应AGI并找到人类与AI的协作关系，而不是置之不问并被淘汰成为结构性冗余的人力资源。
