万字全文|奥特曼与YC总裁对谈OpenAI创业历程、预测未来公司可能是1人+10000GPU

文摘   2024-11-09 09:31   浙江  

👇关注公众号后设🌟标,不错过第一手AI新鲜观点和动态

本文访谈内容整理自Sam Altman接受Y Combinator 专访,公开发表于2024年11月08日。原始内容参考:https://www.youtube.com/watch?v=xXCBz_8hM9w

Sam Altman接受Y Combinator专访

内容导读

  1. AGI并非遥不可及: 他认为AGI的到来可能比许多人预想的要快,甚至可能在几年内实现显著突破。他基于OpenAI的进展和模型能力的快速提升(例如从GPT-3到GPT-4)做出了这一判断。
  2. 规模的重要性:  他强调了规模在深度学习中的关键作用,认为持续扩大模型规模能够带来能力的指数级提升,这与当时许多人的看法相悖。他将这种信念比作对深度学习的“宗教式信仰”。
  3. 深度学习的潜力被低估: 他认为深度学习的潜力远未被充分挖掘,许多业内人士对它的能力持有怀疑态度,甚至认为继续大力投入是错误的。
  4. 专注于单一方向的重要性:  他认为OpenAI成功的一个关键在于专注于单一方向(深度学习和规模化),而不是分散资源到多个领域。这体现了创业中的重要策略:极度专注于一个有前景的赌注。
  5. Y Combinator的独特之处: 他赞扬了Y Combinator鼓励大胆的科技乐观主义和非凡的创业精神,并强调了同行群体的重要性。他认为在Y Combinator找到志同道合的同伴对其个人成长至关重要。
  6. OpenAI的早期目标和策略: 他描述了OpenAI成立初期的目标(无监督学习、强化学习和团队规模控制),以及组建团队的经历。他强调了当时“追逐AGI”目标的非主流性。
  7. OpenAI的成功并非一蹴而就:  他承认OpenAI的道路并非一帆风顺,经历了许多挫折和错误,但他强调了团队坚持不懈、勇于纠错的能力。

Sam Altman简介

Sam Altman,1985年出生于芝加哥,是一位杰出的美国程序员、企业家和投资人。他最为人熟知的身份是OpenAI的首席执行官,该公司致力于开发和推广友好的人工智能以造福人类。

Altman的科技之路始于斯坦福大学,但他中途辍学,与他人共同创办了位置服务公司Loopt。Loopt最终被Green Dot Corporation收购。之后,他加入了著名的创业孵化器Y Combinator,并于2014年成为总裁,在他的领导下,Y Combinator投资了Airbnb、Dropbox和Stripe等众多成功的科技公司。

2015年,Altman与埃隆·马斯克等人共同创立了OpenAI。最初,OpenAI是一个非营利组织,旨在推动人工智能研究,避免其被少数公司垄断。2019年,OpenAI转型为“有限盈利”公司,以便更好地吸引投资,加速研究进展。 Altman领导OpenAI开发了多款突破性的人工智能产品,包括GPT系列大型语言模型和图像生成工具DALL-E,引发了全球对人工智能的关注和讨论。他积极倡导负责任地发展和使用人工智能,并强调安全性和伦理的重要性。

访谈完整记录

主持人Garry:今天我们有幸邀请到Sam Altman,感谢你的加入。这实际上是你“如何构建未来”系列节目的重启版。所以欢迎回到YC。

Sam Altman:你开始的这个系列节目。那是大概八年前的事了。我一直在回想这件事。

主持人Garry:大概是那样。太不可思议了。我很高兴它重启了。没错。让我们谈谈你关于智能时代的最新文章。你知道,现在是不是创业的最佳时机?

Sam Altman: 至少可以说这是迄今为止最好的时机。希望将来会有更好的时机。我有点觉得,每一次重大的技术革命,你都能比以前做得更多。而且我希望公司会更加令人惊叹、更有影响力等等。所以是的,我认为这是迄今为止最好的时机。当事情发展缓慢且不够动态时,大公司更有优势。然后,当像这次这样的事情发生,或者移动互联网、互联网或半导体革命发生,或者可能像工业革命时期那样。那时,初创企业就有了它们的优势。所以是的,这就像……我们已经很久没有经历过这样的事情了。所以这真的很令人兴奋。

主持人Garry: 在这篇文章中,你实际上说了一件非常重要的事情,那就是ASI,超级人工智能,实际上距离我们还有数千天。也许吧。我的意思是,这是我们的希望,我们的猜测,不管怎么说。

Sam Altman: 但这是一个非常大胆的声明。是的。告诉我们吧。我的意思是,这很重要。这真的非常重要。我可以看到一条路径,那就是我们正在做的工作会持续积累。我们在过去三年中取得的进展速度会持续未来三、六或九年,或者更久。你知道,九年大约是3500天。如果我们能够保持这种进步速度,甚至加快速度,那么这样的系统将能够做很多事情。我认为,即使像O1这样的系统也能够做很多事情。仅仅从在特定领域封闭式、明确定义的任务中展现出的原始认知智商来看,我想,嗯,O1就是一个非常聪明的东西。而且我认为我们离进步的极限还差得很远。

主持人Garry: 我的意思是,那是一种架构上的转变,这种转变解锁了很多东西。而我听到的是,这些东西将会不断积累。

Sam Altman: 我们可能会遇到意想不到的障碍,或者我们可能遗漏了什么,但对我们来说,看起来还有很多积累的空间。

主持人Garry: 我的意思是,这篇文章可能是所有我见过的东西中最技术乐观主义的了。我们期待的一些事情包括:解决气候问题,建立太空殖民地,发现所有物理学知识,拥有近乎无限的智能和丰富的能源。

Sam Altman: 我确实认为所有这些事情,以及我们甚至无法想象的更多事情,可能并不遥远。而且我认为,现在我们甚至可以半认真地谈论这些事情,这非常令人兴奋。我一直最喜欢YC的一件事是,它鼓励略微不切实际的技术乐观主义。并且仅仅相信,啊,你可以解决这个问题。而且,你知道,在一个我认为总是告诉人们“这行不通”、“你不能做这件事”、“你不能做那件事”的世界里,我认为那种早期PG的精神,仅仅是鼓励创始人放眼长远一点,这在这个世界上是一件特别的事情。

主持人Garry: 丰富的能源似乎是一件非常重要的事情。如果我们真的实现了丰富的能源,那么就存在路径A和路径B,这似乎是一个真正的突破。几乎任何工作,不仅仅是知识工作,实际上是真正的体力工作,都可以通过机器人技术以及随时可用的语言和智能来实现。这是一个真正的丰裕时代。

Sam Altman: 这些就像我们想要的一切的关键性输入,是两大关键性输入。当然,还有很多其他重要的因素。但如果我们能够获得真正丰富的智能和真正丰富的能源,这将开启一个全新的局面,我们就能更快地想出更好的主意,并在现实世界中实现它们。更不用说,能够运行大量的AI也会是一件好事,而这同样也需要能源。我认为这将是一个巨大的突破。我不确定是应该对这一切同时发生感到惊讶,还是这只是技术进步速度不断加快带来的自然结果,但这绝对是一个令人兴奋的时代,也是一个创业的好时机。

主持人Garry: 好吧,我们大致经历了这个丰饶的时代,也许机器人能够实际制造,做任何事情,几乎所有的体力劳动都能带来物质进步,不仅是对于最富有的人,而是对所有人。如果我们没有释放无限的能源会发生什么?如果,你知道,有一些物理定律阻止我们做到这一点呢?

Sam Altman: 太阳能加储能的轨迹足够好,即使我们没有取得重大的核能突破,我们也能过得还不错。但可以肯定的是,降低能源成本,提高能源丰富度,对生活质量有直接的影响。最终我们会解决物理学中的每一个问题。所以我们一定会找到解决办法,只是时间问题。我们应得这一切。你知道,总有一天,我们讨论的将不再是核聚变或其他什么,而是戴森球。那也将会很棒。是的,这是一个时间点,对我们来说感觉充足的能源,对我们的曾孙们来说可能根本就不够用。宇宙很大,有很多物质。

主持人Garry: 我想稍微换个话题,谈谈你之前提到的保罗·格雷厄姆,他把我们大家聚集在一起,创建了Y Combinator。他喜欢讲述你如何加入YC的故事,你当时是斯坦福大学的大一新生。他说:“你知道,这是2005年第一批YC,你还是个大一新生,YC还会在的,下次再来吧。”而你说:“我是大二学生,我这就来。”在我们的社区里,你被广泛认为是最杰出的人之一。你认为这源于哪里?我认为这个故事我会很乐意听。

Sam Altman: 如果这个故事就此过去,我会很高兴。它被永久地记载在这里了。是的,就在这里。我对这件事的记忆是,我需要改期一次面试之类的事情。

PG试图说,明年再来之类的。然后我想我说了一些比较委婉的话,比如“我是大二学生,我这就来”。但是,你知道,这些事情会变得有点不那么准确了,很有趣。我这么说并非虚伪谦逊,我根本不喜欢把自己定义为一个杰出的人。事实上,我认为我在很多方面都并非如此。我只是有点,我不明白为什么事情必须按照它们的方式进行,所以我只是去做从第一性原理看来似乎不错的事情。我对此一直感觉有点奇怪。然后我记得我当时认为YC如此棒的一点(现在仍然如此),那就是它像是一个怪人聚集地,他们都只是说,“我要做我的事”。这其中与我真实自我认同相符的部分是,我认为你可以尝试很多事情,并且我认为尝试得越多越好。

主持人Garry: 我想,我们俩在YC都发现了一群人,他们都相信你可以做到……

Sam Altman: 很长时间以来,我一直试图弄清楚是什么让YC如此特别。我认为,好吧,你有一个非常优秀的人告诉你,你可以做到,我相信你。作为一名年轻的创始人,这感觉如此特别和鼓舞人心。当然,它确实如此。但我直到很久以后才明白,是来自其他也在这样做的人的同伴群体。我现在给年轻人的最大建议之一就是,尽早找到这个同伴群体对我来说非常重要。我当时并没有意识到这很重要。我当时想,啊,我会自己想办法的。但是,和那些鼓舞人心的同龄人在一起,真是太有价值了。

主持人Garry: 有趣的是,我们俩都曾在斯坦福大学待过。我实际上是毕业了,我可能不应该这样做,但我做了。你通过辍学走上了一条回报率更高的道路。但那个社区据称也拥有很多这些特征,但我仍然对在一个房间里与一群创始人在一起所产生的强大力量感到惊讶。

Sam Altman:我也正想这么说。事实上,我很喜欢斯坦福。是的。但是,我没有感觉自己被那些让我想要变得更好、更有野心的人包围着。如果我确实有这种感觉,那么你和你的同龄人竞争的东西就是,谁会在哪家投资银行获得实习机会?我很不好意思地说,我掉进了这个陷阱。这就是同伴群体有多强大。在看到YC的氛围之后,不去上学是一个非常容易的决定。

主持人Garry: 我很喜欢荣格的一句很有力量的引言:“世界会来问你你是谁,如果你不知道,它会告诉你。”看起来,尽早认真思考你想成为谁,以及你想和谁在一起非常重要。

Sam Altman: 是的,这绝对是我的一大收获,至少对我自己而言,没有人能免受同伴压力的影响。所以你所能做的就是选择好的同伴。是的。

主持人Garry: 你显然后来创建了Loopt,出售了它,去了Green Dot,然后我们最终一起在YC工作。跟我说说YC研究的早期情况。你给YC带来的一件非常酷的事情就是这种实验精神。我记得你回到合伙人办公室,谈论你与Larry和Sergey这样的人一起参与的一些项目。当时人工智能似乎触手可及,但那已经是十年前的事了。

Sam Altman: 我一直认为最酷的退休工作就是经营一个研究实验室,当时还没具体到人工智能领域。当我们开始讨论YC研究时,它不仅会,而且最终资助了一大堆不同的项目。我希望我能讲述一个关于人工智能的成功以及它将成为主流这件事是否显而易见的故事。但那时我们也尝试了很多失败的项目。在那段时间里,我读了几本关于施乐帕克研究中心和贝尔实验室历史之类的书。我认为当时在硅谷时代,很多人觉得我们需要再次拥有优秀的研究实验室。我只是觉得这会非常酷。这有点类似于YC的做法,你将把资金分配给聪明人,有时会成功,有时不会。并且我只是想尝试一下。

人工智能肯定经历了一个小高潮。大概是2014年末、2015年、2016年初,当时正流行着超级智能的讨论,比如《超级智能》这本书,作者是博斯特罗姆,对。DeepMind也取得了一些令人印象深刻的成果,但方向略有不同。我一直是个AI迷,所以我当时想,哦,尝试做一些事情会很酷,但这很难说。ImageNet那时候已经出现了吗?

主持人Garry:  ImageNet已经出现了。当时已经出现一段时间了。所以你可以判断它是不是热狗,有时可以。是的,那时候已经快实现了,是的。你是如何确定最初参与YC研究和OpenAI的人选的呢?我的意思是,格雷格·布罗克曼是……

Sam Altman: 回想起来,感觉就像电影蒙太奇一样,一开始就像抢银行电影里那样,到处寻找合适的人选……然后他们说,“我愿意加入!”对。比如伊利亚,我听说他非常聪明。然后我看了他的一些视频,他真的非常聪明,是名副其实的天才和远见者,而且他还有着令人难以置信的个人魅力。

所以我看了他在YouTube上的一段视频,心想我必须认识这个人。我给他发了邮件,但他没回复。所以我去了他演讲的一个会议,然后我们见了面。之后,我们开始频繁交流。然后是格雷格,我从Stripe公司早期就认识他一点。

主持人Garry:  像这样的对话:我非常喜欢你关于人工智能的想法,我想建立一个实验室。

Sam Altman: 是的。回顾过去,我们从一开始就说要追求AGI(通用人工智能),这在当时是行不通的,因为这听起来太疯狂了,而且谈论它几乎是不负责任的。所以这立刻引起了他的注意。它吸引了所有优秀年轻人的注意,以及那些平庸的老人们的嘲笑和不屑。我觉得这某种程度上是个好兆头,而且非常有力。我们是一群乌合之众,我是年纪最大的,大概30岁左右。所以,这些人就像,“这些不负责任的孩子什么都不懂,却说这些荒谬的话。”

而那些对此非常感兴趣的人,我想,和那些会说“我大二,我来试试”的人是同一类人。他们说:“让我们一起做这件事吧,让我们尝试一下。”所以我们一个接一个地去见人,然后以不同的组合方式分组。这件事断断续续地进行了大约九个月,然后它开始了,我的意思是,它真的开始了。我最喜欢的OpenAI记忆之一是,伊利亚因为某些原因与谷歌有冲突,我们无法在那里启动。我们在2015年12月宣布成立,但直到2016年1月才能正式启动。大概是2016年1月3日左右,或者月初,大家放假回来后,我们去了格雷格的公寓。大概有十个人左右,我们围坐在一起,感觉我们为启动它做了一件了不起的事情。

每个人都问:“接下来我们做什么?”真是个很棒的时刻。这让我想起了创业公司创始人努力融资,他们会想,“我完成了一件伟大的事情,我们做到了,我们做到了!”然后你坐下来说,“该死,我们现在得弄清楚接下来要做什么。”

主持人Garry:  现在不是庆祝的时候,这是发令枪响了,现在我们必须跑了。

Sam Altman: 你根本不知道这场比赛会有多艰难。我们花了很长时间才弄清楚我们要做什么。但我对伊利亚尤其印象深刻,还有所有早期成员,虽然我们走了很多弯路才走到今天,但最初的想法的大方向是如此正确。这些想法写在格雷格公寓里的翻页图表或白板上,我不记得是哪个了。然后我们去做了一些其他的事情,有些成功了,有些失败了,有些成功了,最终我们有了这个系统……

回顾过去,我们从那时走到现在,经历了如此多的曲折,这感觉非常疯狂,非常不可思议。但是我们到达了我们所指向的地方。最初的白板上是否已经包含了深度学习?是的。更具体地说,比如做一个大型无监督模型然后解决强化学习问题,这在白板上。一张来自更早的一次非正式会议的白板,我认为这是正确的。我相信当时这项工作的目标有三个:弄清楚如何进行无监督学习,解决强化学习问题,以及人员规模不超过120人。第三个目标没有实现。对的。预测性方向。

主持人Garry: 前两个目标已经做得相当不错了。所以是深度学习。第二个重要的目标听起来像是规模化,也就是你可以实现规模化的想法。这也是一个异端的想法,人们甚至觉得它具有冒犯性。我记得当时你们受到了很多批评。

Sam Altman: 当我们开始的时候,核心信念是深度学习有效,并且随着规模的扩大而变得更好。我认为这两个信念当时都有些异端。当时我们不知道它随着规模的扩大会好到什么程度,这直到几年后才出现。一开始只是一个直觉,然后你得到了数据来证明……它有多么可预测。但在我们开始之前,人们就已经知道,如果你让这些神经网络更大,它们就会变得更好。我们对此很确定。而且,让我一直想到的是,这是一种近乎宗教信仰般的信念,即这种情况不会停止。每个人都有理由说,“它并不是真正的学习,它并不是真正的推理,它不能真正做到这一点,它只是一个把戏。”而这些都是该领域的杰出领导者。

他们不仅仅是说你错了,他们说的是,你错了,而且这是一种错误的信念,或是一件错误的事情。他们认为你会引发人工智能寒冬,你会做这做那。而我们只是看着这些结果,说它们一直在变得更好。然后我们得到了规模化结果。即使到现在,这也打破了我的直觉。在某种程度上,你必须看看规模化定律,然后说,我们将继续这样做,我们认为它会这样做。而且,当时开始感觉,深度学习的某些方面是一种非常重要的涌现现象,即使我们还没有在实践中完全理解所有细节(显然我们没有,现在也没有),也有一些真正基础的东西正在发生。我们把它比作是在元素周期表中发现了一个新的方格,所以我们真的想推动它。我们的资源远少于DeepMind和其他公司,所以我们说,好吧,他们会尝试很多事情,而我们只需要选择一件事情并集中精力,这就是我们可以获胜的方式,这完全是正确的创业方法。所以我们说,我们不知道我们不知道什么。

我们知道有一件事是有效的,所以我们将专注于此。我认为其他一些努力试图在太多方面都过于聪明,而我们只是说,我们将专注于眼前的事情,并不断努力。规模是我一直以来都感兴趣的事情,它在很多方面都具有涌现特性,对于初创公司、深度学习模型以及许多其他事物都是如此。我认为这是一个非常被低估的特性,值得追求。而且我认为,如果遇到疑问,如果你拥有一些似乎随着规模而改进的东西,我认为你应该扩大它的规模。

主持人Garry: 我认为人们希望事情遵循“少即是多”的原则,但实际上“多即是多”。多即是多。

Sam Altman: 我们相信这一点,我们想坚持下去。我认为,人们可能不太了解 OpenAI 的一件事是,即使在我们还鲜为人知的时候,我们也拥有一支极其优秀的研究人员团队。如果你拥有世界上最聪明的人,你就能全力以赴地去做一件事情。

主持人Garry:是的。而且他们很有动力,或者说你创造了世界上为数不多的几个他们可以做到这一点的地方。我听说过的一个故事是,即使是获得计算资源,即使在今天也是一件非常困难的事情,并且融入了一些来自业界前辈的批评,他们认为,你会浪费很多资源,这某种程度上会导致人工智能寒冬。人们不会再提供资源了。

Sam Altman: 有趣的是,人们一直不确定我们是否会浪费资源,或者说我们是否通过投入过多资源做了一些有点不道德的事情,你应该将资源分散到多个赌注上,而不是专注于一个赌注。世界上大多数人仍然不理解对一个赌注进行相当极端程度的专注的价值。所以我们说,好吧,我们有证据。我们相信这件事。当通常的做法是我们将分散到这个赌注、那个赌注和另一个赌注上的时候,我们想要坚持下去。

主持人Garry:你是十足的乐观主义者。

Sam Altman: 在许多成功的 YC 初创公司中,你会一次又一次地看到这种情况。

主持人Garry:是的,听起来很对。当世界给你施加压力,而这种压力对你来说毫无意义时,你应该继续做。完全正确。

Sam Altman: 我非常感激从初创公司世界中获得的许多经验,那就是你一次又一次地看到这种情况。而且我认为,在加入 YC之前,我深信世界上有成年人负责,房间里有成年人,他们知道发生了什么。有人掌握了所有答案。而且,如果有人反对你,他们可能知道发生了什么。而我现在理解的程度是,就像前面说的那样,你可以去做事情。你可以尝试事情。没有人掌握所有答案。房间里没有成年人会神奇地告诉你确切该做什么。你只需要快速迭代并找到自己的方法。对于我来说,理解这一点是人生中一个重要的顿悟。坚定信念本身与坚定信念是有区别的。如果你错了,并且你没有适应,你没有试图去追求真理,它仍然非常……无效。我们试图做的事情,真的只是相信结果告诉我们的任何事情,并且真正地尝试去做我们眼前的事情。有很多事情我们非常坚定地相信,但却是错误的。但是一旦我们意识到自己错了,我们就努力完全接受它。坚定信念很好,直到你得到一方或另一方的数据。许多人会在得到数据之后仍然坚持自己的信念。

主持人Garry: 所以这是迭代式的,它不仅仅是他们错了而我对了,你必须展示你的工作。

Sam Altman: 但是有一段时间你必须愿意在没有数据的情况下运作。在这一点上,你确实必须依靠信念行事。

主持人Garry:听起来这其中也包含一个聚焦的方面。就像你必须做出选择,而且这个选择最好是,你没有无限的选择。因此,优先级本身就是一个使你更有可能成功的练习。

Sam Altman:我希望我能告诉你,哦,我们确切地知道会发生什么。而且,你知道,我们从一开始就对语言模型有了这个想法。而且,你知道,我们直接朝这个方向努力。但很明显,OpenAI 的故事是,我们做了很多事情帮助我们发展了一些科学理解,但我们并没有走捷径。如果我们当时知道现在所知道的事情,我们本可以以令人难以置信的速度完成整个过程。但事情并非如此。你不可能每次猜测都正确。所以我们一开始有很多假设,关于技术的走向,还有我们将成为什么样的公司,我们将如何运作,AGI 将如何发展,所有这些事情。我们已经被证明是错误的很多很多很多次了。而我们的优势之一就是能够在被打脸之后站起来继续前进。这适用于科学上的赌注,也适用于,你知道,我们愿意在关于我们认为世界将如何运作以及产品的形状将是什么的许多其他事情上犯错。

再说一次,我们不知道,或者至少我不知道,也许 Alec Radford 知道,我不知道语言模型会成为最重要的事情。你知道,我们开始研究机器人和玩电子游戏的智能体以及所有其他事情。几年后,GPT-3 出现了。当时这并不是那么显而易见。

Alec Radford是一位在人工智能领域,特别是深度学习领域做出突出贡献的研究人员。他最广为人知的贡献是参与开发了生成对抗网络(GAN)的关键改进版本,以及Transformer架构的应用,这两者都对现代人工智能的发展产生了深远的影响。

主持人Garry: 听起来围绕 GPT1的正面或负面情绪有一个关键的见解。

Sam Altman:甚至在 GPT1 之前。哦,甚至更早。我认为这篇论文叫做《无监督情感神经元》。我认为 Alec 是独自完成的。顺便说一句,Alec 是一个不可思议的异类。所以他做了这项令人难以置信的工作,只是在观察……他注意到有一个神经元在进行这些生成的亚马逊评论时,会切换正面或负面情绪,我认为。其他研究人员可能会夸大其词或对此大惊小怪,但你知道,是 Alec 做的,所以人们花了一段时间才完全理解这是一件多么重要的事情,然后他做了 GPT-1,其他人将其扩展到了 GPT-2,但这源于他的这一见解,即发生了某种令人惊奇的事情.

当时,无监督学习实际上并没有真正起作用。所以他注意到一个非常有趣的特性,那就是有一个神经元会随着情感切换正面或负面。是的,这导致了 GPT 系列。

主持人Garry: 我想,CaseText的Jake Heller,我认为他也许是——毫不意外地,一个Y Combinator的校友——他获得了GPT-3、3.5和4的访问权限。他将获得GPT-4描述成一个重要的突破时刻,因为3.5虽然也能用,但它产生的幻觉在法律环境中多到无法使用。而GPT-4则达到了一个临界点,只要他将提示拆分成足够小的工作流程,就能让它准确地完成他想要的任务。他围绕GPT-4构建了大量的测试案例,然后将公司以6.5亿美元的价格卖掉了。所以,我认为他是最早以相对宏大的方式将GPT-4商业化的人之一。

Sam Altman: 我记得和他那次谈话。是的,关于GPT4的。那是我在那件事中为数不多的几个时刻之一,我当时想,好吧,我们手里真的握有非常棒的东西。当我们刚开始尝试向创始人推销GPT-3时,他们会说,这很酷,它做的事情很惊人,是个令人难以置信的演示。但除了文案写作,GPT-3并没有催生出伟大的公司。然后3.5出现了,人们,特别是像Y Combinator这样的创业公司,开始做一些有趣的事情……感觉我们不再是在推一块巨石上山了,人们真的想要购买我们销售的东西。完全正确。然后是GPT-4……

我们就像得到了,“你能给我多少GPU?”“哦,是的。”这样的时刻,在向人们提供访问权限后很快就发生了。所以我们感觉,好吧,我们手里真的握有非常棒的东西。

主持人Garry: 所以你们是通过用户知道的?

Sam Altman: 完全正确。当模型本身发布,你们拿到它的时候,感觉就像,“好吧,这更好了。”我们当时都印象深刻。我们当时也印象深刻。我们对它进行了一系列测试,结果看起来很棒,它可以完成我们都很惊讶的事情。还有,当我们都在玩它,得到样本反馈的时候,我想,哇,它现在可以做到这个了。它可以押韵,可以讲一个有点好笑的笑话,还可以做这做那。

所以感觉真的很好,但你永远不知道自己是否拥有一个畅销产品,直到你把它交到客户手中。是的,所以我们都对此感到兴奋,我们想,哦,这真的相当不错。但直到测试完成,真正的考验是用户。是的,所以在那一刻到来之前,会有一些焦虑。

主持人Garry: 是的。我想稍微换个话题。在你们创建了,显然,有史以来最疯狂的AI实验室之一之前,你们19岁时在Y Combinator创建了一家名为Loopt的公司,该公司基本上是“查找我的朋友”的地理位置服务,可能是在苹果最终推出这项服务之前的15年前。是什么吸引你想到这个特定想法的?

Sam Altman: 我当时对手机很感兴趣,我想做一些能够利用手机的事情。那时手机才刚刚起步,也就是在iPhone推出之前两三年。但很明显,把电脑揣在口袋里是一件非常重要的事情。

主持人Garry: 我现在很难相信,曾经有过手机实际上只能打电话。我的意思是,我尽量不把它当作一部真正的电话来用。

Sam Altman: 我仍然记得我第一部有互联网功能的手机。它有一个糟糕的,主要是基于文本的浏览器。速度非常慢。你可以,你知道的,可以非常痛苦地、非常缓慢地查看你的电子邮件。但我当时还在高中。高中某个时候我得到了一部可以做到这一点的手机,而不是仅仅发短信和打电话。我当时就迷上了。是的,我当时想,这不是一部手机,这就像我们随身携带的电脑,我们因为历史的偶然性而受困于拨号键盘,但这将会很棒。

主持人Garry: 我想,现在数十亿人没有电脑。对我们这一代人来说,你知道,实际上是你的第一台电脑。

Sam Altman: 是的,不是物理意义上的。这是一个复制品,或者说是我第一台电脑的另一个副本,是一台Mac LC2。

主持人Garry:  是的。所以这就是我们成长过程中电脑的样子。而你会随身携带这面小黑镜的想法,当时是不可想象的。所以,即使在那时,你对技术和未来即将到来的一切都有一定的了解。

Sam Altman:  是的,我当时就是一个真正的技术宅,我的意思是,我现在仍然是一个真正的技术宅。那就是我用来思考周五夜晚的事情。

主持人Garry: 然后,其中比较难的部分是我们没有App Store,iPhone还不存在。我认为你最终成为了那次发布的重要参与者。

Sam Altman: 是的,我确实参与其中一小部分。对我来说这是一次非常棒的经历,因为我了解了经历平台转型是什么样的,开始阶段有多混乱,以及你所做的那些小事如何能够塑造其发展方向。我当时肯定处于另一边,我看着别人创造平台转型,但这对我来说是一次非常宝贵的经验,让我能够了解它是如何发生的,以及事情变化的速度有多快,以及你如何适应它。

主持人Garry: 那次经历感觉如何?你最终卖掉了那家公司。那可能是你第一次管理人员并进行企业销售。所有这些都是从那次第一次经历中吸取的有用教训。

Sam Altman: 我的意思是,它显然不是一家成功的公司。所以这是一个非常痛苦的过程,但经验和教育的速度令人难以置信。PG说过,或者引用了别人说过的话,但一直让我铭记于心的是,你20多岁的时候总是在做学徒,但你不知道是为了什么,然后你以后才会做你真正的工作。我确实学到了很多东西,我对此非常感激。那是一次艰难的经历,我们从来没有真正找到产品与市场契合点。我们也从未真正找到摆脱困境的方法,这总是很难做到。我从未听说过有任何事情比创业的普遍学习率更高。所以它很棒。

主持人Garry: 从这个意义上说,你知道的,当你19、20岁的时候,就像乘着某个其他平台转变的浪潮,从笨重的手机到智能手机和移动设备的转变。而现在,许多年过去了,你的下一个行动实际上是,我的意思是,从字面上说是两个行动之后,催生了主要的平台转变之一。我们都会变老。但这确实是正在发生的事情。你知道,18、20岁的年轻人认为他们可以获得学位,但他们会错过这波浪潮。因为所有这些事情,一切都在现在发生。我很高兴听到这些。你有没有一种直觉?即使是许多非常优秀的十亿美元公司创始人,他们中的一些人根本没有意识到正在发生的事情。他们是首席技术官。这让我感到震惊。太疯狂了,对吧?

Sam Altman:是的。这就是为什么我现在对初创公司如此兴奋的原因。因为世界对这一切的漠视程度令人震惊。然后你看到Y Combinator的创始人说:“不,不,我要做一件惊人的事情,而且要很快地完成。”是的。

主持人Garry: 这让我想起了Facebook差点错过移动端浪潮。是的,因为他们当时制作的是网页软件,而且做得非常好。是的,而且他们不得不收购Instagram、Snapchat和WhatsApp。是的,还有WhatsApp。所以很有趣。平台的转变总是由那些年轻且没有先前知识的人来完成的。我认为这很棒。所以还有另一个有趣的方面,我认为你和埃隆·马斯克、贝索斯和许多其他人一样,他们作为创始人的旅程都是从某个项目开始的,无论是Loop、Zip2还是纯粹的软件项目。这只是他们开始的不同事物。然后后来他们逐渐升级。在这个阶段,你有什么建议的路径吗?如果人们在想,“我想先从事最疯狂的硬科技项目”,他们应该尽可能地朝着这个方向努力吗?还是说,先解决资金问题,能够将自己的资金大量投入到下一件事中更有价值?

Sam Altman: 这是一个非常有趣的问题。能够为OpenAI开出早期支票绝对很有帮助。我认为一开始很难让其他人这样做。然后埃隆·马斯克在更大的规模上做了很多,我对此非常感激。之后其他人也效仿了。我还投资了一些其他项目,我很高兴能够支持它们。我认为让其他人去做会很难。所以这当然很棒。就像我们之前谈到的那样,我学到了这些非常宝贵的经验教训。但我同时也觉得我有点浪费时间,虽然这么说可能不太好,但我绝对不后悔。这就像人生中所有事物的一部分,我学到了很多东西。

主持人Garry: 你会怎么做得不同?或者你会对19岁时在斯坦福大学的你,通过时光胶囊传递什么信息?

Sam Altman: 这很难说,因为人工智能一直是我最想做的事情。而人工智能,就像,我去学校学习人工智能。但当时我在人工智能实验室工作,他们告诉你的唯一一件事就是绝对不要研究神经网络。我们试过了,它不管用。那是很久以前的事了。我认为我本可以选择比Loopt更好的项目来做。我不知道具体是什么,但一切都会好起来的。没关系。是的。人们长期以来一直在构建更多技术来改善其他人的生活。而我实际上经常思考这个问题。例如,我想到那些制造那台电脑的人。我不认识他们。你知道,他们中的许多人可能早已退休,但我非常感谢他们。是的。有些人非常努力地制造了这个东西,它代表着技术的极限。我在八岁生日那天得到了一台,它彻底改变了我的生活。是的。

也改变了其他许多人的生活。他们非常努力。他们从未得到我的感谢,但我内心深处非常感激他们。能够为这条漫长的道路添砖加瓦真是太好了。

主持人Garry: 进步。是的。对于OpenAI来说,今年很棒,但也并非没有一些戏剧性的事件。总是这样。是的,我们擅长这个。你从去年秋天的“驱逐事件”中学到了什么?你对一些人的离职有什么看法?我的意思是,团队确实会发生变化,但你怎么样,伙计?

Sam Altman: 很累,但还不错。我们已经像快速通关一样经历了中等规模甚至相当大的科技公司通常需要十年的发展轨迹,而这仅仅用了两年时间。ChatGPT的年龄还不到两年。是的,随之而来的是很多痛苦的事情。而且,你知道,任何公司在扩张过程中都会以一定的速度更换管理团队。而且你必须认识到,那些在0到1阶段非常优秀的人,并不一定擅长1到10或10到100阶段。我们也改变了我们的目标,在此过程中犯了很多错误,也做了一些正确的事情,这带来了很多变化,我认为公司的目标,沉浸式AGI或任何你想要称呼它的名称,就像,在每个阶段都做出最好的决策。但这确实会导致很多变化。我希望我们现在正朝着一个更加平静的时期前进,但我相信未来还会有其他时期,事情会再次变得非常动态。

主持人Garry: 那么,OpenAI现在到底是如何运作的?我认为,你们现在的质量和速度,与之前出现的许多其他成熟的软件公司相比,已经超越了世界一流水平。

Sam Altman: 这是我第一次感觉我们真的知道该做什么。我认为从这里到构建AGI,仍然需要付出巨大的努力,还有一些未知的未知数,但我认为我们基本上知道该做什么,这需要一段时间,这会很难,但这非常令人兴奋。我还认为,在产品方面,还有更多的东西需要弄清楚,但大体上我们知道该瞄准什么,以及我们想要优化什么。这是一个非常令人兴奋的时刻。当你拥有这种清晰度时,我认为你可以走得很快。

如果你愿意说,我们将做这几件事,我们将努力把它们做好,我们的研究路径相当清晰,我们的基础设施路径相当清晰,我们的产品路径也越来越清晰,你可以很好地围绕这一点进行调整。很长一段时间,我们都没有做到这一点。我们是一个真正的研究实验室。即使你知道了这一点,也很难坚定地采取行动,因为还有很多其他好的事情你想做。但是,你能让每个人都团结起来,朝着同一目标前进的程度,是决定你行动速度的一个重要因素。

主持人Garry: 我的意思是,感觉我们最近从一级跃升到了二级,这真的非常强大。然后我们刚刚在YC举办了O1黑客马拉松。是的,那太令人印象深刻了,超级有趣。奇怪的是,其中一位获奖者,我想他们获得了第三名,是Camfer公司。这是一家从事CAD/CAM软件的创业公司,一两年前刚刚参加了YC,他们在黑客马拉松期间能够构建出一个能够迭代改进翼型的工具,从无法飞行的翼型改进到具有竞争性升力的翼型。我的意思是,这听起来像是第四级,也就是创新阶段。

Sam Altman: 你这么说很有意思。我之前一直跟别人说,我认为二级到三级的跃升很快就会发生,但三级到四级的跃升则会困难得多,需要一些中等规模或更大的新想法。而这个演示和其他一些演示让我相信,只需以真正有创意的方式使用现有模型,就能获得大量的创新。

主持人Garry: 是的,有趣的是,Camfer实际上已经构建了CAD/CAM的底层软件。然后,语言就成了与大型语言模型交互的界面,它可以使用类似软件的工具。如果再加上CodeGen的想法,那就有点可怕又疯狂了,对吧?大型语言模型不仅可以编写代码,还可以为自己创建工具,然后像O1的“思维链”一样组合这些工具。是的,我认为事情发展速度会比人们现在预期的快得多。

Sam Altman: 确实,现在是活着的好时代。你前面提到过关于发现所有物理学规律的事情。我一直想成为一名物理学家,但不够聪明,无法成为一名优秀的物理学家,只能以另一种方式做出贡献。但事实上,我相信有人现在将用这些东西解决所有物理学问题,我为能在这个时代活着而感到兴奋。让我们到达第四级吧!我为那个幸运儿感到高兴。是的。

主持人Garry: 你想谈谈三级和五级吗?

Sam Altman: 好吧,我们意识到AGI这个词已经过度使用,人们赋予它各种不同的含义。我们试图说,好的,这是我们对事物顺序的最佳猜测。有一级系统,也就是聊天机器人;然后是二级系统,也就是推理器。我们认为我们在今年早些时候的O1版本中实现了这一点。三级是智能体能够执行长期任务的能力,例如与环境进行多次交互,在需要时寻求帮助,以及团队协作等等。我认为我们将比人们预期的更快地达到这个阶段。四级是创新者,就像科学家一样,能够探索那些不太了解的现象。

在很长一段时间内,去理解并找出答案。然后是五级,这有点模糊,就是做到这一点,但规模是整个公司,或者一个组织,或者其他什么。

主持人Garry: 这将会是一件非常强大的事情。是的,感觉有点分形,对吧?即使是达到二级所需要做的事情,也与五级异曲同工,即拥有多个能够自我纠正并协同工作的智能体。在我看来,这就像一个非常微观的组织。你认为我们会拥有——你曾经谈到过这个,我认为Jake也谈到过——年收入数十亿美元,但员工却不到100人,也许只有50人,甚至20人,或者只有1人的公司吗?

Sam Altman: 看起来确实是这样。除了这是一个成为创业公司创始人的好时代之外,我不知道该如何解释。对我来说,感觉就是这样,就像一个人加10000个GPU

主持人Garry: 可能发生。Sam,对于正在或刚刚开始创业的人,你有什么建议?

Sam Altman: 创业的话,押注这项技术趋势,押注这个趋势。我们远未达到饱和点。模型将会变得越来越好,速度非常快。作为创业公司创始人,你可以用它做到的事情,和你无法做到的事情相比,差异非常巨大。大型公司,甚至中等规模的公司,甚至是几年前成立的创业公司,都已经在按季度规划周期运作了。而谷歌则在按年度或十年规划周期运作。我不知道他们是怎么做到的。但你的优势在于速度、专注、信念以及对技术发展速度的反应能力,这永远都是创业公司的第一优势,尤其是在现在。所以我一定会用AI构建一些东西,我一定会利用能够看到新事物并在当天构建它的能力,而不是将其纳入季度规划周期。

我想我还要说的是,当出现新的技术平台时,很容易说,因为我正在做一些AI,所以商业法则不适用于我。我拥有这项神奇的技术,所以我不需要建立护城河、竞争优势或更好的产品,因为我正在做AI而你没有。这显然是不对的。但你可以通过比其他人更快地采用新技术,获得短期内的爆发式增长。记住不要落入这个陷阱,你仍然需要建立有持久价值的东西。我认为这是一个需要记住的好事情。

主持人Garry: 现在每个人都可以构建一个非常棒的演示。

Sam Altman: 规则仍然适用。你可以比以往任何时候都更快、更好,但你仍然必须建立一个企业。

主持人Garry: 你对2025年有什么期待?未来会发生什么?

Sam Altman: AGI。为此感到兴奋。我对什么感到兴奋?我还是个孩子。我为此感到兴奋,是的,可能就是这样。这是我一生中最兴奋的事情。

主持人Garry: 是的,它会彻底改变你的生活。

Sam Altman: 我迫不及待。

主持人Garry: 好吧,让我们为我们的孩子,以及希望是全世界,创造一个更美好的世界而努力。这次谈话非常有趣,感谢你的参与,Sam。谢谢。

👇关注公众号后设🌟标,不错过第一手AI新鲜观点和动态

往期精选

  1. 黄仁勋专访:OpenAI在大模型混战中达到“逃逸速度”
  2. 李飞飞与Justin深度解读空间智能:数字世界需要三维表征,才能与现实世界融合
  3. PayPal创始人彼得·蒂尔:人类科技停滞源于原子方面的进展远慢于比特
  4. 谷歌联合创始人布林:巨头们打造的“上帝模型”几乎可以理解一切
  5. 马斯克:AI将使商品和服务的成本趋近于零
  6. Karpathy最新专访:人形机器人、特斯拉、数据墙与合成数据


瓜哥AI新知
紧追AI业界一手观点、访谈、动态,点滴构建AI底层认知
 最新文章