编者按:当地时间11月14日,特斯拉 CEO 埃隆·马斯克 (Elon Musk) 针对OpenAI 的起诉升级,增加了新的原告和被告。
随着起诉文件的更新,马斯克、萨姆·奥特曼 (Sam Altman)、伊利亚·苏茨克弗 (Ilya Sutskever) 和格雷格·布罗克曼 (Greg Brockman) 之间的大量电子邮件已作为法庭诉讼程序的一部分被公布。
一个名为LessWrong的在线论坛和社区把大约50封邮件按照时间线进行了整理,从这些邮件的时间从2015 年5月25日到2019年3月11日。
这些邮件肯定不是OpenAI发展过程中的全部,但是从这些公开的内容中可以看到OpenAI的缘起、发展与矛盾,以及不同阶段不同创始人、核心人员的不同观点。
以下是公开的邮件内容:
原文地址:
https://www.lesswrong.com/posts/5jjk4CDnj9tA7ugxr/openai-email-archives-from-musk-v-altman
萨姆·奥特曼致伊隆·马斯克 - 2015 年 5 月 25 日
一直在思考是否有可能阻止人类发展人工智能。
我认为答案几乎肯定是否定的。
如果无论如何都要实现这个目标,那么最好由谷歌以外的其他人先来做。
有没有想过 YC 启动人工智能曼哈顿计划是否是个好主意?我的感觉是,我们可以让前 50 名中的许多人参与其中,我们可以将其构建为通过某种非营利组织属于世界的技术,但如果成功,从事该技术的人将获得与初创公司类似的报酬。显然,我们会遵守/积极支持所有法规。
萨姆
伊隆·马斯克致萨姆·奥特曼 – 2015 年 5 月 25 日
可能值得谈谈
萨姆·奥特曼致伊隆·马斯克 - 2015 年 6 月 24 日
任务是创建第一个通用人工智能,并将其用于个人赋能——即未来看起来最安全的分布式版本。更一般地说,安全应该是首要要求。
我认为我们最好从 7-10 人开始,然后计划从那里开始扩大。我们在 Mountain View 有一栋不错的额外建筑,他们可以享用。
我认为,对于治理结构,我们应该从 5 个人开始,我建议你、比尔·盖茨、皮埃尔·奥米迪亚、达斯汀·莫斯科维茨和我。该技术将归基金会所有,并用于“造福世界”,如果不清楚如何应用,我们 5 个人将做出决定。研究人员将获得可观的财务收益,但这与他们所构建的东西无关,这应该可以消除一些冲突(我们将向他们支付有竞争力的薪水,并给他们 YC 股权作为收益)。我们会持续讨论哪些工作应该开源,哪些不应该开源。在某个时候,我们会找一个人来管理团队,但他/她可能不应该加入治理委员会。
除了管理之外,你还会以其他方式参与吗?我认为这对让工作朝着正确的方向发展非常有帮助,可以让最优秀的人才参与其中。理想情况下,你会每月或每隔一段时间过来和他们谈谈进展情况。我们一般把以某种有限方式参与 YC 的人称为“兼职合伙人”(例如,我们就是这样称呼 Peter Thiel 的,尽管目前他参与度很高),但我们可以随便叫他们。即使你不能真正花时间在上面,但可以公开支持,这可能仍然对招聘非常有帮助。
我认为,制定监管信函的正确计划是等待这件事开始实施,然后我就可以发布它,并附上这样的信息:“既然我们正在这样做,我一直在思考世界需要什么样的约束才能确保安全。”我很高兴你也成为签名者。我还怀疑,在它发布后,会有更多人愿意支持它。
萨姆
伊隆·马斯克致萨姆·奥特曼 - 2015 年 6 月 24 日
全部同意
格雷格·布罗克曼致伊隆·马斯克(抄送:萨姆·奥特曼)- 2015 年 11 月 22 日
嘿,Elon,
之前聊天很愉快。
正如我在电话中提到的,这是博客文章的最新早期草稿:https://quip.com/6YnqA26RJgKr。(Sam、Ilya 和我正在考虑新名字;希望得到您的任何意见。)
显然,还有很多其他细节需要更改,但我很好奇您对这种信息传递方式有何看法。我不想手下留情,如果感觉合适,我很乐意传播更强烈的信息。我认为最重要的是我们的信息能够吸引研究界(或者至少吸引我们想要雇用的那部分人)。我希望我们能以中立的团体身份进入该领域,寻求广泛合作,并将对话转向人类胜利,而不是任何特定的团体或公司。(我认为这是让我们成为领先研究机构的最佳方式。)
我附上了我们一直在使用的录用通知模板,薪资为17.5万美元。以下是我发给别人的电子邮件模板:
附件是您的 YCR 正式录取通知书!请签名并注明日期。接下来还会有两份文件:
另外还有一封信,向您提供您出席的每个 YC 批次的 0.25%(作为担任 YC 顾问的补偿)。
随意雇佣、保密信息、发明转让和仲裁协议
(由于这是我们提供的第一批官方优惠,因此请原谅途中的任何坎坷,如果发现任何奇怪之处,请告诉我!)
我们计划提供以下福利:
健康、牙科和视力保险
无限假期,建议每年四周
带薪育儿假
当你展示 YC AI 工作或被 YC AI 邀请参加会议时,可获得付费出席资格
我们也很乐意提供签证支持。当您准备好讨论签证相关问题时,我很乐意让您与 YC 的 Kirsty 联系。
如果您有任何问题,请告诉我 — 我随时可以与您聊天!期待合作 :)。
– gbd
伊隆·马斯克致萨姆·奥特曼 – 2015 年 12 月 8 日
正确写出开篇摘要部分非常重要。这将是每个人都会读到的内容,也是媒体最常引用的内容。这份新闻稿的全部目的是吸引顶尖人才。不确定格雷格是否完全明白这一点。
---- OpenAI 是一家非营利性人工智能研究公司,其目标是以最有可能造福全人类的方式推进数字智能,且不受产生财务回报义务的束缚。
我们公司的根本理念是将人工智能技术作为所有人类个体意志的延伸,尽可能广泛地传播,在自由精神的指导下,确保数字智能的力量不会过度集中,并朝着人类总体所期望的未来发展。
这个项目的成果尚不确定,而且薪酬也比其他公司提供的低,但我们相信目标和结构是正确的。我们希望这对该领域的佼佼者来说是最重要的。
萨姆·奥特曼致伊隆·马斯克 - 2015 年 12 月 8 日
这怎么样?
__
OpenAI 是一家非营利性人工智能研究公司,其目标是以最有可能造福全人类的方式推进数字智能,且不受产生财务回报义务的束缚。
由于我们没有任何财务义务,我们可以专注于最大限度地发挥人类的积极影响,并尽可能广泛地传播人工智能技术。我们认为人工智能应该是个人意志的延伸,本着自由的精神,不应集中在少数人的手中。
这个项目的成果尚不确定,而且薪酬也比其他公司提供的低,但我们相信目标和结构是正确的。我们希望这对该领域的佼佼者来说是最重要的。
萨姆·奥特曼致伊隆·马斯克 - 2015 年 12 月 11 日
刚刚得到消息……
明天,deepmind 将向 openAI 中的每个人提供大量反报价,试图消灭它。
你对我主动给每个人每年增加 10-20 万的薪酬有什么异议吗?我认为他们都是为了这里的使命而努力,但这对每个人来说都是一个很好的信号,我们会随着时间的推移照顾他们。
听起来 DeepMind 正计划为此发动战争,他们实际上一直在 NIPS 上逼迫人们。
伊隆·马斯克致萨姆·奥特曼 - 2015 年 12 月 11 日
伊利亚 (Ilya) 是否已经坚定地表示同意了呢?
如果有人有任何疑问,我也很乐意亲自打电话给他们。我已经告诉艾玛,这是我每天 24 小时的首要任务。
萨姆·奥特曼致伊隆·马斯克 - 2015 年 12 月 11 日
是的,承诺了,承诺了。只是做出了承诺。
伊隆·马斯克致萨姆·奥特曼 - 2015 年 12 月 11 日
惊人的
萨姆·奥特曼致伊隆·马斯克 - 2015 年 12 月 11 日
每个人都感觉很好,说着“接受 DeepMind 的提议吧,可惜他们没有‘做正确的事’”这样的话
太平洋标准时间下午 1:30 发布新闻
伊隆·马斯克致:Ilya Sutskever、Pamela Vagata、Vicki Cheung、Diederik Kingma、Andrej Karpathy、John D. Schulman、Trevor Blackwell、Greg Brockman(抄送:Sam Altman)- 2015 年 12 月 11 日
祝贺你有一个美好的开始!
你们所熟知的组织在人数和武器上都远远落后于我们,但我们有优势,这对我们来说很重要。我喜欢这种胜算。
我们最重要的考虑是招募最优秀的人才。任何公司的产出都是公司内部人员的矢量和。如果我们能够随着时间的推移吸引最有才华的人,并且我们的方向正确,那么 OpenAI 就会获胜。
为此,请认真考虑谁应该加入。如果我能在招聘或其他方面提供帮助,我愿意为您效劳。我建议密切关注那些尚未完成研究生甚至本科教育但显然才华横溢的人。最好在他们取得突破之前就让他们加入。
期待共同合作,
伊隆
格雷格·布罗克曼致伊隆·马斯克(抄送:萨姆·奥特曼)- 2016 年 2 月 21 日
大家好,
我们目前正在进行公司成立后的第一轮全职工作。显然,做好这些工作非常重要,因为影响是长期的。我还不太愿意自己做决定,希望得到任何指导。
以下是我们目前正在做的事情:
创始团队:27.5 万美元薪水 + 25bps 的 YC 股票
- 还可以选择永久转换为 12.5 万美元年度奖金或等值的 YC 或 SpaceX 股票。我不知道是否有人接受了我们的提议。
新报价:年薪 17.5 万美元 + 年薪 12.5 万美元 || 等值 YC 或 SpaceX 股票。奖金取决于绩效评估,您可能获得 0% 或远高于 100% 的奖金。
特殊情况:gdb + Ilya + Trevor
该计划是保持基本不变的工资,并使用奖金倍数作为奖励表现出色的人的方式。
一些说明:
- 我们对股票变现前的 8 年使用 20% 的年化折扣,12.5 万美元的奖金相当于 YC 的 12 个基点。因此最终价值更像是 75 万美元。这个数字听起来更令人印象深刻,尽管显然很难准确估值。
- 创始团队最初每人获得 17.5 万美元的薪酬。实验室成立后的第二天,我们主动将每个人的薪水提高了 10 万美元,告诉他们,一旦实验室取得成功,我们将为他们提供经济支持,并要求他们承诺忽略所有反要约,相信我们会为他们提供资金。
- 我们目前正在采访 Brain 的 Ian Goodfellow,他是我们所没有的领域中两位顶尖科学家之一(另一位是 DeepMind 的忠实拥护者 Alex Graves)。他是 Brain 中最好的人,所以 Google 会争取他。我们将他纳入创始团队的报价中。
一些薪资数据点:
- DeepMind 为约翰提供了每年 25 万美元的全额薪酬,他认为自己可以轻松地将薪酬谈至 30 万美元。
- FAIR 口头向 Wojciech 提供约 125 万美元/年薪(但没有具体信件)
- Andrew Tulloch 在 FB 的年薪为 80 万美元。(很多是可兑现的股票。)
- Ian Goodfellow 目前在 Google 的年薪为 16.5 万美元现金 + 60 万美元股票。
- 苹果有点绝望,向人们提供 55 万美元现金(可能加上股票)。我认为没有哪个好人会答应。
我心中有两个具体的候选人:
- 安德鲁几乎要说“是”了。但他对大幅减薪感到担忧。
- Ian 表示他主要不关心钱,但湾区物价昂贵 / 他想确保自己能买得起房子。我不知道如果 Google 开始向 Ilya 透露他们给出的数字,会发生什么。
我的直接问题是:
1. 我预计安德鲁会尝试谈判。我们是否应该坚持他的提议,并告诉他只有当他足够兴奋接受这种减薪时才加入(并且其他人留下了更多)?
2. 伊恩将于周三接受面试并(我确信)收到录用通知。我们应该将他的录用通知视为最终决定,还是愿意根据 Google 的录用通知做出调整?
3. 根据 1 + 2 的答案,我想知道这种固定策略是否合理。如果我们保留它,我觉得我们必须真正说服人们接受奖金乘数。也许一个选择是使用签约奖金作为杠杆来让人们签约?
4. 非常次要,但我们的实习生薪酬也低于市场水平:每月 9000 美元。(FB 提供 9000 美元 + 免费住房,谷歌提供全包 11000 美元/月。)薪酬对实习生来说远不如对全职员工重要,因为经验是首要的。但我认为我们可能已经失去了一位对此持怀疑态度的候选人。考虑到每小时的薪酬比全职员工低得多,我们是否应该考虑增加薪酬?
我很乐意随时聊聊此事。
– gbd
伊隆·马斯克致格雷格·布罗克曼(抄送:萨姆·奥特曼)- 2016 年 2 月 22 日
我们需要尽一切努力来获得顶尖人才。让我们更上一层楼。如果在某个时候我们需要重新审视现有员工的薪酬,那也没关系。
要么我们能找到世界上最优秀的人才,要么我们就会被 Deepmind 打败。
无论需要做什么,只要能培养出顶尖人才,我都愿意。
Deepmind 让我精神压力极大。如果他们赢了,那对他们一心一意统治世界的理念来说将是一个坏消息。他们显然正在取得重大进展,而且他们应该取得进展,因为那里的人才水平很高。
格雷格·布罗克曼致伊隆·马斯克(抄送:萨姆·奥特曼)- 2016 年 2 月 22 日
听得清清楚楚。听起来是个好计划。计划继续与 sama 就具体事宜进行合作,但如果您想随时了解最新情况,请告诉我。
– gbd
Greg Brockman致 Elon Musk,(抄送:Sam Teller)- 2016 年 3 月 21 日
嗨,Elon,
我接受了 Wired 杂志关于 OpenAI 文章的采访,事实核查人员向我发送了一些问题。我想与您就两个问题进行同步,以确保它们听起来合理/与您所说的一致:
OpenAI 是否正在放弃其全部研究成果?
无论何时,我们都会采取最有可能造福世界的行动。从短期来看,我们认为最好的方法是放弃我们的研究成果。但从长远来看,这可能不是最好的方法:例如,最好不要立即分享一项潜在的危险技术。在任何情况下,我们都会放弃我们所有研究成果,并希望这些成果归于全世界,而不是任何一家机构。
OpenAI 是否认为,让尽可能多的人拥有最复杂的人工智能是人类防止过于聪明的人工智能落入私人手中、以某种方式向世界发动攻击以达到恶意目的的最好机会?
我们相信,利用人工智能来扩展个人意志是确保人工智能保持有益的最有希望的途径。这很有吸引力,因为如果有许多具有大致相同能力的代理,它们就可以控制任何一个坏人。但我不会声称我们拥有所有的答案:相反,我们正在建立一个既能寻找这些答案,又能采取最佳行动的组织,无论答案是什么。
谢谢!
– gbd
伊隆·马斯克致格雷格·布罗克曼(抄送:萨姆·特勒) - 2016 年 3 月 21 日
听起来不错
萨姆·特勒致伊隆·马斯克——2016 年 4 月 27 日
[亚历克斯·汤普森转发给伊隆·马斯克的消息]
嗨,萨姆,
希望您今天过得愉快,很抱歉打断您问另一个问题。Maureen 想看看马斯克先生对扎克伯格先生自采访以来的一些公开评论有何反应。特别是,他将马斯克先生称为“歇斯底里的人”,因为他对人工智能感到恐惧,并教训那些“散布恐慌”的人人工智能的危险。我在下面提供了扎克伯格先生评论的更多细节。
最近在德国被问及马斯克的担忧时,扎克伯格称其为“歇斯底里”,并称赞了人工智能的突破,其中包括一个系统,他声称该系统可以通过手机对皮肤病变进行癌症诊断,准确度堪比“最好的皮肤科医生”。
他说:“除非我们真的把事情搞砸了,否则机器永远都是服从的,而不是“超人”。
“我认为我们可以开发人工智能,让它为我们工作并帮助我们……有些人散布恐慌,说人工智能会带来巨大的危险,但在我看来,这种说法过于牵强,而且比起由于疾病蔓延、暴力等原因造成的灾难,这种可能性要小得多。”或者正如他在四月份的 Facebook 开发者大会上表达的理念:“选择希望而不是恐惧。”
——
亚历克斯·汤普森
《纽约时报》
伊隆·马斯克致萨姆·特勒 - 2016 年 4 月 27 日
历史清楚地表明,强大的技术是一把双刃剑。人工智能可以说是所有技术中最强大的,但如果你认为它只有一把剑,那就太愚蠢了。
微软的人工智能聊天机器人最近的例子表明,人工智能可以迅速产生极其负面的影响。明智的做法是谨慎对待人工智能的出现,确保其权力得到广泛分配,而不是由任何一家公司或个人控制。
这就是我们创建 OpenAI 的原因。
Sam Altman致 Elon Musk,(抄送:Sam Teller)- 2016 年 9 月 16 日
以下是微软的条款。6000万美元的计算费用为1000万美元,以及我们对他们在云中部署的内容的意见。如果您有任何反馈,请告诉我。
萨姆
Microsoft/OpenAI 条款
伊隆·马斯克致萨姆·奥特曼(抄送:萨姆·特勒)- 2016 年 9 月 16 日
这实际上让我感到恶心。这太糟糕了,这正是我对他们的期望。
CNTK v2、Azure Batch 和 HD-Insight 的评估、推广和使用: OpenAI 将评估 CNTK v2、Azure Batch 和 HD-Insight 的研究成果,并就 Microsoft 如何改进这些产品提供反馈。OpenAI 将与 Microsoft 合作,向其研究和开发者生态系统推广这些产品,并将 Microsoft Azure 作为其首选的公共云提供商。OpenAI 将自行决定采用这些产品,只要这对其研究有意义
假设我们愿意让微软将空闲的计算时间捐赠给 OpenAI,并让大家知道这一点,但我们不想签订任何合同或同意“宣传”。他们可以随时关闭我们的服务,我们也可以随时离开。
Sam Altman致 Elon Musk,(抄送:Sam Teller)- 2016 年 9 月 16 日
我读完该部分后也有同样的反应,他们已经同意放弃。
我们最初只是希望捐赠太空周期,但团队希望更确定是否有可用容量。但我会与微软合作,确保没有任何附加条件
伊隆·马斯克致萨姆·奥特曼(抄送:萨姆·特勒)- 2016 年 9 月 16 日
我们应该低调行事。无论如何都不确定。没有合同。
Sam Altman致 Elon Musk,(抄送:Sam Teller)- 2016 年 9 月 16 日
好的,看看我能从这个方向得到多少钱。
萨姆·特勒致伊隆·马斯克——2016 年 9 月 20 日
微软现在愿意以 5000 万美元的价格签订该协议,并“由 OpenAI 自行决定采取诚意行动”,并拥有随时终止合同的完全权利。无需宣传。不附加任何条件。看起来不像是微软蹩脚的营销棋子。可以继续吗?
伊隆·马斯克致萨姆·特勒 – 2016 年 9 月 21 日
如果他们不在主动消息传递中使用这个功能,我没意见。如果看起来不像微软的营销婊子,那么价值将远远超过 5000 万美元。
伊利亚·苏茨克韦尔致伊隆·马斯克、格雷格·布罗克曼 - 2017 年 7 月 20 日
- 机械手现在可以在模拟中解决魔方:
https://drive.google.com/a/openai.com/file/d/0B60rCy4P2FOIenlLdzN2LXdiOTQ/view?usp=sharing(需要 OpenAI 登录)
实体机器人将于九月做同样的事情
- 1v1 机器人不再可利用
它不再能被“非常规”策略打败
有望在一个月内击败所有人类
- 运动竞技机器人:
https://drive.google.com/a/openai.com/file/d/0B60rCy4P2FOIZE4wNVdlbkx6U2M/view?usp=sharing(需要OpenAI 登录)
- 发布了一个可以同时从各个角度欺骗相机的对抗样本:
https://blog.openai.com/robust-adversarial-inputs/
- DeepMind 直接使用了我们的一种算法来产生他们的跑酷结果:
DeepMind 的成果:
https: //deepmind.com/blog/ducing-flexible-behaviourssimulated-environments/
DeepMind 的技术论文明确指出他们直接使用了我们的算法
我们的算法博客文章:https://blog.openai.com/openai-baselines-ppo/(DeepMind使用的是旧版本)。
- 接下来:
设计营利结构
与 Cerebras 协商合并条款
对 Cerebras 进行更多尽职调查
Shivon Zilis致埃隆·马斯克(抄送:Sam Teller)- 2017 年 8 月 28 日
伊隆,
正如我提到的,Greg 要求在本周末讨论一些事情。Ilya 最终加入了,他们几乎分享了他们仍在思考的所有事情。这是那次随机谈话的提炼……归结为 7 个未解答的问题,下面是他们的评论。请注意,我并不提倡任何这些,只是组织和分享我听到的信息。
1. 短期控制结构?
- 是否要求绝对控制?他们想知道,如果其他人(不仅仅是他们三个人,也许是更广泛的董事会)对方向意见不一,那么是否存在某种创造性的否决条款?
2. 控制和过渡的持续时间?
-*不可协商*的条款似乎是一项铁定的协议,即如果创建了 AGI,则不会让任何一个人拥有绝对控制权。满足这一条件意味着,无论他们三人发生什么,都可以保证在 2-3 年的初始阶段后分配对公司的权力。
3. 花费的时间?
-Elon 想花多少时间在这上面?他实际上能花多少时间在这上面?时间范围是多长?是每周一小时,还是十小时,还是介于两者之间?
4. 花费的时间该如何处理?
-他们真的不知道他喜欢在其他公司如何度过时间,也不知道他想如何花时间在这件事上。Greg 和 Ilya 相信他们可以很好地构建 SW/ML 方面。他们对硬件方面没有信心。他们似乎希望 Elon 能花一些时间在这方面,因为这是他们的弱点,但他们确实希望他在他感兴趣的所有领域都能得到帮助。
5. 花费的时间与控制量的比例?
-他们喜欢时间少/控制少,喜欢时间多/控制多,不喜欢时间少/控制多。他们担心如果花费的时间太少,就没有足够的时间讨论相关背景信息,从而做出正确的决定。
6. 股权分割?
-Greg仍然本能地坚持平等分配。我个人不同意他的这种本能,他要求并愿意听取其他可以用来重新调整他的心理模型的东西。
-Greg指出,Ilya通过在 Google 上展示自己的赚钱潜力,在某种程度上已经做出了数百万美元的贡献。
-他们担心的一个问题是拟议的员工数量太少。
7. 资本化策略?
-他们的本能是一开始就筹集超过 1 亿美元的资金。他们认为,仅他们所需的数据中心就需要这么多资金,因此他们更愿意筹集更多资金。
要点:
不确定这些是否可行,但仅从听取他们抛出的所有数据点来看,以下内容可以满足他们当前的棘手问题:
-每周花费 5-10 小时,几乎完全掌控,或者花费更少的时间,更少的控制。
- 针对极端情况(不仅仅是 Greg / Sam / Ilya)具有创造性的短期覆盖。
-无论 Greg / Sam / Ilya 的命运如何,一份严格的 2-3 年少数股权控制协议。
- 初始融资 2 亿至 10 亿美元。
-Greg 和 Ilya 的股份最终比 Elon 的股份高出 1/10,但差别并不大(这仍然是最模糊的)。
-增加员工队伍。
-
Elon Musk致 Shivon Zilis,(抄送:Sam Teller)- 2017 年 8 月 28 日
这太烦人了。请鼓励他们去创业。我受够了。
Ilya Sutskever致 Elon Musk、Sam Altman(抄送:Greg Brockman、Sam Teller、Shivon Zilis)- 2017 年 9 月 20 日
埃隆、萨姆、
这个过程是我和格雷格参与过的最高风险对话,如果项目成功,它将成为世界上最高的风险对话。对我们所有人来说,这也是一次非常私人的对话。
昨天,当我们在考虑根据非招揽协议做出最终承诺时,我们意识到我们犯了一个错误。我们有几个重要的担忧,但我们还没有向你们提出。我们没有提出这些担忧,因为我们害怕:我们害怕损害我们的关系,害怕你们看不起我们,或者失去你们这个合作伙伴。
我们的担忧有可能无法解决。我们真心希望情况不会如此,但我们知道,如果我们现在不讨论这些问题,我们肯定会失败。我们希望我们能够解决这些问题,并继续共同努力。
马斯克:
我们真的想和你们一起工作。我们相信,如果我们联手,我们完成任务的成功率就会最大。我们的优势最大。这是毫无疑问的。我们非常渴望和你们一起工作,我们很乐意放弃股权、个人控制权,让自己容易被解雇——无论需要付出什么代价来和你们一起工作。
但我们意识到,我们在思考控制对世界的影响时过于粗心。由于这看起来过于傲慢,我们并没有认真考虑成功的影响。
当前的结构为您提供了一条道路,最终您将单方面绝对控制 AGI。您表示您不想控制最终的 AGI,但在这次谈判中,您向我们表明绝对控制对您来说非常重要。
举个例子,你说你需要成为新公司的首席执行官,这样每个人都会知道你才是负责人,尽管你也说过你讨厌担任首席执行官并且宁愿不担任首席执行官。
因此,我们担心,随着公司真正朝着 AGI 迈进,你会选择保留对公司的绝对控制权,尽管你目前的意图并非如此。我们不同意你的说法,即我们离开的能力是我们最大的力量,因为一旦公司真正走上 AGI 的轨道,公司将比任何个人都重要得多。
OpenAI 的目标是让未来更美好,避免 AGI 独裁。你担心 Demis 会创造一个 AGI 独裁。我们也是。因此,创建一个你可以选择成为独裁者的结构是一个坏主意,尤其是考虑到我们可以创建其他一些可以避免这种可能性的结构。
我们还有一些较小的担忧,但我们认为在这里提一下是有用的:
如果我们决定收购 Cerebras,我强烈认为这将通过特斯拉来完成。但如果我们也可以在 OpenAI 内部完成,为什么要这样做呢?具体来说,令人担忧的是,特斯拉有责任为股东实现股东回报最大化,这与 OpenAI 的使命不一致。因此,总体结果可能对 OpenAI 来说并不是最佳的。
我们认为,非营利组织 OpenAI 之所以成功,是因为你和 Sam 都参与其中。Sam 真正起到了平衡你们的作用,这非常有成效。至少到目前为止,Greg 和我都不太能平衡你们。我们觉得,即使是这次谈判也证明了这一点,我们准备将长期 AGI 控制问题掩盖起来,而 Sam 则坚持自己的立场。
萨姆:
当 Greg 和我陷入困境时,你总能给出深刻而正确的答案。你一直在非常深入和彻底地思考如何解决这个问题。Greg 和我了解技术执行,但我们不知道结构决策在未来一个月、一年或五年内会如何发挥作用。
但在整个过程中,我们不能完全信任您的判断,因为我们不了解您的成本函数。
我们不明白为什么 CEO 头衔对你如此重要。你陈述的理由已经改变,很难真正理解是什么在推动它。
AGI 真的是你的主要动机吗?它与你的政治目标有何关联?你的思维过程随着时间的推移发生了怎样的变化?
格雷格和伊利亚:
在这次谈判中,我们也犯了不少错误,下面我们将列出其中一些(Elon 和 Sam,我相信你们还有很多要补充的……):
在这次谈判中,我们意识到,我们让 2-3 年后的经济回报来主导我们的决策。这就是我们没有强行控制的原因——我们认为我们的股权已经足够好了,所以为什么要担心呢?但这种态度是错误的,就像人工智能专家的态度一样,他们不认为人工智能安全是一个问题,因为他们并不真的相信他们会建立 AGI。
我们在谈判中没有说出全部真相。我们有自己的借口,但这损害了谈判进程,我们可能会因此失去 Sam 和 Elon。
我们已经承担了足够多的负担,我们认为开会讨论这个问题非常重要。如果我们不这样做,我们的合作就不会成功。我们四个人今天能开会吗?如果我们都说实话,解决问题,我们创建的公司将更有可能承受它将经历的强大力量。
- 格雷格和伊利亚
伊隆·马斯克致伊利亚·苏茨克韦尔 (抄送:萨姆·奥特曼;格雷格·布罗克曼;萨姆·特勒;希冯·齐利斯) - 2017 年 9 月 20 日 (下午 2:17)
伙计们,我受够了。这是最后一根稻草。要么自己做点什么,要么继续将 OpenAI 作为非营利组织。除非你下定决心留下来,否则我将不再资助 OpenAI,否则我就是个傻瓜,基本上是在为你提供免费资金来创建一家初创公司。讨论结束了
伊隆·马斯克致伊利亚·苏茨克韦尔、萨姆·奥特曼(抄送:格雷格·布罗克曼、萨姆·特勒、希冯·齐利斯) - 2017 年 9 月 20 日(下午 3:08)
需要明确的是,这并不是要求接受之前讨论内容的最后通牒。这些内容不再存在。
Sam Altman致 Elon Musk、Ilya Sutskever(抄送:Greg Brockman、Sam Teller、Shivon Zilis)- 2017 年 9 月 21 日
我仍然对非营利结构充满热情!
Shivon Zilis致 Elon Musk,(抄送:Sam Teller)- 2017 年 9 月 22 日
嗨,Elon,
简单来说,Greg 和 Ilya 表示他们希望继续保持非盈利结构。他们知道他们需要提供保证,保证他们不会去做其他事情来维持这种结构。
还没有与奥特曼交谈,但他要求今天下午进行交谈,因此我会报告我听到的任何消息。
如果我能提供任何帮助请告诉我。
伊隆·马斯克致 Shivon Zilis(抄送:Sam Teller)——2017 年 9 月 22 日
好的
Shivon Zilis致 Elon Musk,(抄送:Sam Teller)- 2017 年 9 月 22 日
来自奥特曼:
结构:非常适合保持非营利性并继续支持它。
信任:承认自己在此过程中对 Greg 和 Ilya 失去了很多信任。感觉他们传递的信息不一致,有时还显得幼稚。
停工: Sam 告诉 Greg 和 Ilya,他需要离开 10 天来思考。他需要弄清楚自己能信任他们多少,以及他有多想与他们合作。他说他会在那之后回来,弄清楚他想花多长时间。
筹款: Greg 和 Ilya 相信,如果做出明确的努力,捐款可以实现数亿美元。Sam 认为有一条通往数千万美元的明确途径,但更多尚待确定。他确实提到 Holden 对营利性转型感到恼火,如果 OpenAI 保持非营利性,他可能会提供更多资金,但尚未坚定承诺。Sam 给出了一个数字,如果实现这一目标,他将获得 1 亿美元。
沟通: Sam 对 Greg 和 Ilya 在整个过程中让整个团队了解最新情况感到困扰。感觉这分散了团队的注意力。另一方面,显然在最后一天几乎每个人都被告知营利结构不会发生,他对此感到高兴,至少因为他只是希望团队再次低调行事。
希冯
Sam Altman致 Elon Musk(抄送:Greg Brockman、Ilya Sutskever、Sam Teller、Shivon Zilis)- 2018 年 1 月 21 日
伊隆—
注意,与一些安全团队进行了交谈,他们对 ICO 以及未来可能产生的意外影响有很多担忧。
计划明天与整个团队交谈并征求意见。我要强调保密的必要性,但我认为获得认同并让人们有机会尽早发表意见非常重要。
萨姆
伊隆·马斯克致萨姆·奥特曼(抄送:Greg Brockman、Ilya Sutskever、Sam Teller、Shivon Zilis)- 2018 年 1 月 21 日
绝对地
Andrej Karpathy致 Elon Musk,(抄送:Shivon Zilis)- 2018 年 1 月 31 日
ICLR 会议(深度学习领域的顶级会议(NIPS 规模更大,但更分散))发布了论文被接受/被拒绝的决定,有人制作了一些精美的图表,显示了当前深度学习/人工智能研究的进展。这是一个不完美的衡量标准,因为并非每家公司都会优先考虑论文发表,但它具有指示性。
以下图表显示了来自任何机构的论文总数(按口头/海报/研讨会/拒绝细分):
[剧情图片已撤回]
长话短说,谷歌以 83 篇论文提交量占据主导地位。学术机构(伯克利 / 斯坦福 / 卡内基梅隆大学 / 麻省理工学院)紧随其后,各有 20-30 篇论文提交量。
只是觉得这是今天所有活动的有趣快照。完整数据在这里:http://webia.lip6.fr/~pajot/dataviz.html
—安德烈
伊隆·马斯克致 Greg Brockman、Ilya Sutskever、Sam Altman(抄送:Sam Teller、Shivon Zilis,转寄:Andrej Karpathy)—2018 年 1 月 31 日
相对于谷歌,OpenAI 走上了一条注定失败的道路。显然,需要立即采取有力的行动,否则除了谷歌之外的所有人都将变得无关紧要。
我考虑过 ICO 的做法,但不会支持。在我看来,这只会导致 OpenAI 和与 ICO 相关的每个人信誉大打折扣。如果某件事看起来好得令人难以置信,那它就是假的。在我看来,这是一次不明智的转移。
我能想到的唯一途径是 OpenAI 的大规模扩张和 Tesla AI 的大规模扩张。也许两者同时进行。前者需要大幅增加捐赠资金,并需要有高度可信的人加入我们的董事会。目前的董事会状况非常薄弱。
明天我会安排一个时间让我们谈谈。要清楚的是,我非常尊重你的能力和成就,但我对事情的处理方式并不满意。这就是为什么我最近几个月与 OpenAI 的合作一直很困难。要么我们解决问题,我的参与度会大大提高,要么我们不会解决问题,我的参与度会降到接近零,并公开减少我的联系。我不会处于这样一种境地:我的影响力和时间的认知与现实不符。
埃隆·马斯克 (Elon Musk)致安德烈·卡帕蒂 (Andrej Karpathy) - 2018 年 1 月 31 日
供参考
您认为什么才合理?如果更好的话,我很乐意通过电话交谈。
安德烈·卡帕蒂 (Andrej Karpathy)致埃隆·马斯克 (Elon Musk) - 2018 年 1 月 31 日
不幸的是,在 AI 前沿领域工作成本高昂。例如,DeepMind 在 2016 年的运营费用约为 2.5 亿美元(不包括计算费用)。随着他们团队的不断壮大,现在的运营费用可能约为每年 5 亿美元。但 Alphabet 在 2016 年报告的净收入约为 200 亿美元,因此即使 DeepMind 自己没有收入,成本仍然相当低廉。除了 DeepMind,谷歌还有谷歌大脑、研究和云。还有 TensorFlow、TPU,他们拥有大约三分之一的研究成果(事实上,他们举办自己的 AI 会议)。
我还强烈怀疑计算能力对于实现 AGI 是必要的(甚至可能足够)。如果历史趋势有任何迹象,那么人工智能的进步主要由系统驱动 - 计算、数据、基础设施。我们今天使用的核心算法与 90 年代相比基本保持不变。不仅如此,任何在某篇论文中发表的算法进步几乎都可以立即重新实施和纳入。相反,算法进步本身如果没有规模,也是无用的,因此也很难令人生畏。
在我看来,OpenAI 如今正在烧钱,其融资模式无法达到与谷歌(一家市值 8000 亿美元的公司)真正竞争的规模。如果你无法真正竞争,但继续在开放领域进行研究,那么你实际上可能会让事情变得更糟,并“免费”帮助他们,因为任何进步对他们来说都相当容易复制并立即大规模采用。
盈利转型可能会随着时间的推移创造更可持续的收入来源,并且,在现有团队的带领下,可能会带来大量投资。然而,从头开始开发产品会分散人工智能研究的注意力,需要很长时间,而且尚不清楚一家公司是否能“赶上”谷歌的规模,投资者可能会在错误的方向上施加过多的压力。
正如我之前提到的,我能想到的最有希望的选择是 OpenAI 把特斯拉作为摇钱树。我相信,与其他大型嫌疑人(例如苹果?亚马逊?)的合作会因为公司 DNA 不兼容而失败。用火箭来比喻,特斯拉已经用 Model 3 的整个供应链及其车载计算机和持久的互联网连接建造了火箭的“第一阶段”。“第二阶段”将是一个基于大规模神经网络训练的全自动驾驶解决方案,OpenAI 的专业知识可以大大帮助加速这一进程。有了功能齐全的全自动驾驶解决方案,我们可以在 2-3 年内卖出很多汽车/卡车。如果我们做得非常好,运输行业就足够大了,我们可以将特斯拉的市值提高到高 O(约 100K),并利用这些收入资助适当规模的人工智能工作。
我看不到有任何其他东西有潜力在十年内达到谷歌规模的可持续资本。
—安德烈
伊隆·马斯克致伊利亚·苏茨克维尔、格雷格·布罗克曼的信 - 2018 年 2 月 1 日
[转发了 Andrej 之前的消息]
Andrej 说得完全正确。我们可能希望情况并非如此,但在我和 Andrej 看来,特斯拉是唯一一条有望与谷歌抗衡的道路。即便如此,成为谷歌的制衡力量的可能性也很小。它不是零。
Shivon Zilis致 Elon Musk,(抄送:Sam Teller)- 2018 年 3 月 25 日
OpenAI
筹款:
-不再采用 ICO/“提前购买计算的工具”类型的结构。Altman 正在考虑一种工具,如果 OpenAI 确实实现了某种赚钱的 AGI,那么感兴趣的 4-5 家大公司可以投资,回报率上限为 50 倍。他们似乎只是为了访问而愿意这样做。他想和你更详细地讨论。
董事会正式辞职:
- 从技术上讲,你仍然是董事会成员,因此需要向 Sam Altman 发送一封简短的邮件,内容类似于“通过这封电子邮件,我谨辞去 OpenAI 董事职务,自 2018 年 2 月 20 日起生效”。
未来委员会:
-Altman 说他可以接受我加入,然后如果我产生矛盾就必须退出,但他担心如果我必须退出,其他人会认为这是自断后路。我认为最好的办法是暂时不要加入,做一个模棱两可的顾问,但如果你有不同的想法,请告诉我。他们有 Adam D'Angelo 作为第五个可能接替你的人选,这看起来很棒?
特斯拉人工智能
Andrej 有三名候选人,周二可能会有 1-2 名候选人来见你。他会向你发送一份关于他们的简报。此外,他正在为可能发布的版本编写初始语言,该版本将于周二准备好讨论。它将遵循我们讨论过的“全栈 AI 实验室”角度,但如果感觉不对,请纠正方向……这是个棘手的消息传递方式。
大脑
Chip 应该会在 8 月上市供他们测试,他们计划在 9 月让其他人进行远程访问。Cerebras 的工作人员还提到,他们最近很多客户对 Nvidia 的服务条款变化感到不满(这种变化迫使公司从消费级 GPU 转向企业级 Pascals/Voltas)。Scott Gray 和 Ilya 继续花大量时间与他们在一起
Sam Altman致 Elon Musk,(抄送:Shivon Zilis)- 2018 年 4 月 2 日
我们计划下周发布该功能 - 有什么想法吗?
OpenAI 宪章
OpenAI 的使命是确保通用人工智能 (AGI)(即在最具经济价值的创造性工作中表现优于人类的高度自主系统)造福全人类。我们将尝试直接构建安全且有益的 AGI,但如果我们的工作能够帮助其他人实现这一结果,我们也会认为我们的使命已经完成。为此,我们承诺遵守以下原则:
广泛分布的利益
我们承诺利用我们在 AGI 部署方面获得的任何影响力,确保它能造福所有人,并避免使人工智能或 AGI 的使用危害人类或过度集中权力。
我们的主要受托责任是服务于人类。我们预计需要调动大量资源来完成我们的使命,但我们将始终努力减少员工和利益相关者之间的利益冲突,以免影响广泛的利益。
长期安全
我们致力于进行确保 AGI 安全所需的研究,并推动此类研究在整个 AI 社区的广泛应用。
我们担心 AGI 的后期开发会变成一场没有时间采取充分安全预防措施的竞争。因此,如果一个符合价值观、注重安全的项目在我们之前接近建立 AGI,我们承诺停止与该项目竞争并开始协助该项目。我们将根据具体情况制定具体协议,但典型的触发条件可能是“未来 2 年内成功的可能性高于平均水平”。
技术领导力
为了有效解决 AGI 对社会的影响,OpenAI 必须处于 AI 能力的前沿——仅靠政策和安全倡导是不够的。
我们相信,人工智能将在通用人工智能之前对社会产生广泛影响,我们将努力在与我们的使命和专业知识直接相关的领域发挥领导作用。
合作导向
我们将积极与其他研究和政策机构合作;我们寻求创建一个共同应对AGI全球挑战的全球社区。
我们致力于提供公共产品,帮助社会走向 AGI。目前,这包括发布我们的大部分 AI 研究成果,但我们预计,出于对安全和保障的考虑,未来我们的传统出版将减少,同时共享安全、政策和标准研究成果的重要性将提高。
伊隆·马斯克致萨姆·奥特曼(抄送:Shivon Zilis)- 2018 年 4 月 2 日
听起来不错
Shivon Zilis致 Elon Musk,(抄送:Sam Teller)- 2018 年 4 月 23 日
根据与 Altman 的对话更新信息。您暂定于周二与他交谈。
融资:
-他再次确认,他们绝对不是在进行 ICO,而是在进行具有固定最大回报的股权。
- 他想向您介绍一下加薪的相当独特的附属结构。
- 希望在第一轮 4-6 周内采取行动(可能主要是 Reid 的钱,也可能是一些企业钱)。
技术:
说 Dota 5v5 看起来比预期的要好。
-Dota 机器人性能的急剧提升显然导致内部人员担心 AGI 的时间表比他们之前想象的要早。
- 认为他们很快就能击败蒙特祖玛的复仇。
时间分配:
-我把过去在 OpenAI 上花费的大部分时间重新分配给了 Neuralink 和 Tesla。这自然是由于你退出董事会和相关因素而发生的——但如果您希望我将更多时间重新投入到 OpenAI 监督中,请告诉我。
-Sam 和 Greg 问我是否愿意加入他们的非正式顾问委员会(目前只有 Gabe Newell),考虑到潜在的冲突,这似乎比正式委员会更好?如果觉得不合适,请告诉我你更喜欢哪个
Sam Altman致 Elon Musk,(抄送:Sam Teller、Shivon Zilis)- 2019 年 3 月 6 日
伊隆—
这是我们计划于周一发布的草稿。还有什么要添加/编辑的吗?
总结:
我们创建了利润上限 公司,并在 Reid 和 Vinod 的带领下完成了第一轮融资。
我们这样做是为了让所有投资者都清楚,他们永远不应该期望获得利润。
我们任命格雷格为新公司的董事长,我担任首席执行官。
我们已经与潜在的下一轮投资者测试了这种结构,他们似乎很喜欢它。
说到最后一点,我们现在正在讨论一项数十亿美元的投资,有空的时候我想听听你的建议。很高兴有时间去湾区看望你。
萨姆
伊隆·马斯克致萨姆·奥特曼 - 2019 年 3 月 11 日
请明确说明,我对 OpenAI 的营利部门没有任何经济利益
伊隆·马斯克联合创办的人工智能研究小组成立盈利部门
彭博
OpenAI 是一家总部位于旧金山的人工智能研究机构,由埃隆·马斯克和其他几位硅谷知名企业家共同创立,该机构正在成立一个营利性部门,以便筹集更多资金。阅读全文
分享自 Apple News
萨姆·奥特曼致伊隆·马斯克 - 2019 年 3 月 11 日
在上面
觉得内容有收获,请您加个关注,标个星~ 谢谢您