观点速读|YC合伙人圆桌讨论:O1的强大对创业者是双刃剑、万亿参数模型是开启AGI的钥匙

文摘   2024-11-06 08:00   浙江  

👇关注公众号后设🌟标,不错过第一手AI新鲜观点和动态

本文所呈现的观点整理自Y Combinator圆桌讨论,公开发表于2024年11月01日。原始内容参考:https://www.youtube.com/watch?v=lbJilIQhHko

Y Combinator简介

Y Combinator (YC) 是全球最著名的创业加速器之一,致力于帮助早期创业公司快速成长。它提供种子资金、导师指导、校友网络以及一系列资源,以换取公司少量股权。

YC 每年举办两期为期三个月的项目,期间创业团队会集中在硅谷(现在也支持远程参与),专注于产品开发和市场验证。 YC 的合作伙伴,都是经验丰富的创业者和投资者,会定期与团队会面,提供个性化指导,帮助他们解决各种挑战,例如产品策略、用户增长和融资。

Demo Day 是 YC 项目的高潮,创业团队有机会向数百位顶级投资者展示他们的成果,从而获得下一轮融资。 许多知名公司,例如 Airbnb、Dropbox、Stripe 和 Coinbase,都曾是 YC 的校友,这证明了其在孵化成功企业方面的卓越能力。

YC 的影响力不仅在于资金支持,更在于其强大的社区和资源网络。 成为 YC 的校友意味着加入一个由优秀创业者组成的社群,可以互相学习、分享经验,并获得持续的支持。 对于有志于改变世界的创业者来说,YC 无疑是一个理想的起飞平台。

圆桌讨论参与者

Garry:YC 总裁兼CEO、合伙人

Harj:YC管理总监、合伙人

Jared:YC管理总监、合伙人

Diana:YC合伙人

核心观点整理

本次圆桌讨论主要围绕OpenAI的O1等强大的大型语言模型(LLMs)对创业者、开发者以及科技未来的影响展开。以下是几个核心观点:

一、强大LLMs如O1的影响是双刃剑:既可能导致垄断,也可能降低AI创业门槛

一方面,O1强大的能力引发了对OpenAI可能垄断AI领域的担忧,如同控制着“未来价值的光锥”。讨论中提到:

Harj: 如果O1如此神奇,这对创始人和开发者来说究竟意味着什么?一种说法是这对开发者不利,因为O1可能过于强大,OpenAI会独占所有价值。

Garry:你是说他们会占据所有未来价值的光锥?

Harj:对,就是这样。它将占据所有现在、过去和未来的价值。我的天哪。

另一方面,O1更高的准确性和确定性可以解放创始人 从繁琐的提示工程中,让他们专注于用户体验和核心软件开发,从而降低AI创业门槛。讨论中也表达了这种乐观观点:

Harj:另一种更为乐观的情况是,我们看到创始人,尤其是在项目期间,花费了多少时间来使提示正常工作,使输出准确无误。但如果它变得更确定、更准确,那么他们就可以把时间花在软件的“基础”功能上。赢家将仅仅是那些构建最佳用户体验并处理所有这些细枝末节的公司。

二、LLM发展遵循规模法则,万亿参数模型可能带来AGI甚至ASI的突破

讨论中多次提到LLM发展遵循“规模法则”,参数数量的增加会带来能力的显著提升,类比GPT-3的成功:

Diana:是的,现在作为背景,最前沿的模型,我不知道他们的确切参数数量,但大约在5000亿左右,例如Llama 3,4050亿。……GPT-3.5或3发布时,它大约有170亿个参数。那是两个数量级的提升。我们看到了结果。这创造了这个人工智能公司蓬勃发展的新时代。

Garry:所以这真的是关于数量级的。让我们展望未来。那里有万亿参数的大型语言模型,比今天最先进的技术高出两个数量级。会发生什么?人们真的会抛出查询并实际使用这些万亿参数的模型吗?感觉好像每个标记都要等待10分钟。

他们推测,万亿参数模型可能带来与AGI(通用人工智能)或ASI(人工超级智能)相当的能力,但这需要时间来实现:

Diana:所以,如果这种规模法则继续下去,我们可能会预期这种感觉与我们在2022年到2021年那一年转型时所感受到的感觉类似。

三、模型蒸馏和优化是关键,降低AI应用门槛

大型模型的训练和推理成本高昂,模型蒸馏技术将大型模型的能力压缩到更小、更高效的模型中,对普及AI至关重要:

Garry:我想这可能是这些拥有万亿参数的模型真正改变人类能力的方式之一。……但GPT-4本身,它变成了4.0版本。OpenAI公司本身现在已经在其API内部启用了蒸馏功能。因此,您可以使用O1。您可以甚至使用GPT-4或4.0将其蒸馏成一个对他们来说更便宜的内部模型,例如GPT-4 Mini。这就是他们的锁定能力。

Diana:是的,我认为这一点讨论得不多,但有趣的是,你拥有这些巨大的模型,比如4000亿或5000亿参数的模型,它们基本上是教师模型,因为它们是用所有数据进行大规模训练的,而且花费了很长时间。它们是教师模型,主模型,用于训练学生模型,这些学生模型更小、更快、更便宜,因为对4050亿参数模型进行推理非常昂贵。

四、LLM市场竞争激烈,OpenAI的领先地位面临挑战

虽然OpenAI最初占据LLM市场主导地位,但Claude、Llama等模型的崛起正在挑战其领先地位。Y Combinator的创业公司数据显示了这种趋势:

Harj:如果我们暂时不考虑 OpenAI 的最新融资和最新的 01 模型,那么在开发者和构建者中,OpenAI 似乎正在失去市场份额。他们从一家独大的局面变成了迅速流失市场份额给其他模型。……一些真正引人注目的内容是,仅在六个月内,从冬季批次到夏季批次,Claude 的开发者市场份额从约 5% 上升到约 25%。是的,是该批次公司的 25%。

(每年,Y Combinator 会举办两次为期三个月的加速器项目,称为“批次”(batch)

Harj:有趣的是,也许他们正在回归。Jared,你得到的数据统计是多少?似乎已经有 15% 的批次公司正在使用 O1,即使它尚未完全可用。他们并非只是购买产品。

五、语音AI快速发展,成为重要应用领域

OpenAI的低成本语音API加速了语音AI的应用,尤其在客服和物流等领域:

Harj:但说到消费者应用程序,我的意思是,关于OpenAI的另一个令人震惊的事情是发布了像实时语音API这样的东西。超级酷。

Garry: 这真是非同凡响,我认为最能说明问题的是,持续使用的基于用量的定价是每小时9美元。这暗示着某种强大的力量。如果我是宏观交易员,我会对那些严重依赖呼叫中心的国家非常非常悲观。因为你知道,每小时9美元的价格差不多就是呼叫中心的成本。

Harj:这是我们在这一批次中肯定看到的另一个现象,对吧?很明显,语音几乎是一个杀手级应用,可以说是……嗯,我刚和这一批次中的一家公司合作过。至少我的团队,Domove,只是做……某种用于债务催收的 AI 语音,他们的发展势头非常惊人,效果非常好。

六、开发者工具竞争激烈,用户体验成关键

Cursor等新型开发者工具的出现,超越了GitHub Copilot,显示了LLM辅助开发领域的快速创新和竞争,也表明优秀的用户体验至关重要:

Diana:在此次人工智能浪潮之前和之后,情况大相径庭。……但是,我们在这一批次中看到的创始人构建的演示和产品具有更高级别的精致程度。……许多人可能正在使用诸如 Cursor 之类的东西,对吧?

Garry:当我们询问创始人时,Jared 也指出了这一点。……这一批次中有一半的人正在使用 Cursor,而只有 12% 的人正在使用 GitHub Copilot。这让我很惊讶。……仅仅是从 GitHub Copilot 转到 Cursor,这是在 AI 实际执行的操作量方面的一个进步,就是一个令人难以置信的突破。

Harj: 这是另一个表明创始人为什么拥有优势的迹象。……而 Cursor 却不知从何处冒了出来,在这一批次中,其云用户数量是 GitHub Copilot 的五倍。这再次印证了您之前所说的,创业创始人实际上通常是这类事情的引领者。

七、  AI的长期影响仍存在不确定性,需关注用户体验

讨论最后也强调了AI长期影响的不确定性,以及用户体验的重要性。即使拥有强大的底层模型,最终的成功仍然取决于优秀的用户体验和软件开发细节:

Harj:乐观来看,随着模型越来越强大,最终的赢家将是那些构建最佳用户体验并能处理所有细枝末节细节的公司。这就是Cursor能够超越GitHub Copilot的原因所在,它拥有所有优势。

Garry:对于开发者工具来说,绝对有意义。Stripe 和 AWS 都想拥有 Y Combinator 的特定批次,这对他们来说非常有效。所以,对于 Cursor 来说,他们在 Y Combinator 批次中拥有如此高的渗透率,这可能是一个非常好的信号。

名词解释:

  • AGI (通用人工智能):  能够理解、学习和应用知识以解决任何智力问题的机器智能。与专注于特定任务的弱人工智能不同,AGI旨在拥有与人类相当或超越人类的认知能力。

  • ASI (人工超级智能):  其智能水平远远超过人类的任何人工智能。ASI被认为具有潜在的风险和机遇,其能力可能远远超出人类的理解和控制。

  • 提示工程 (Prompt Engineering):  是指精心设计输入到大型语言模型中的提示或指令,以引导模型生成期望的输出的过程。它需要对模型的特性和局限性有深入的理解。

  • 模型蒸馏 (Model Distillation):  一种模型压缩技术,通过训练一个较小的“学生”模型来模仿一个较大的“教师”模型的行为,从而降低模型的大小和计算成本,同时保持较高的性能。

👇关注公众号后设🌟标,不错过第一手AI新鲜观点和动态

往期精选

  1. 黄仁勋专访:OpenAI在大模型混战中达到“逃逸速度”
  2. 李飞飞与Justin深度解读空间智能:数字世界需要三维表征,才能与现实世界融合
  3. PayPal创始人彼得·蒂尔:人类科技停滞源于原子方面的进展远慢于比特
  4. 谷歌联合创始人布林:巨头们打造的“上帝模型”几乎可以理解一切
  5. 马斯克:AI将使商品和服务的成本趋近于零
  6. Karpathy最新专访:人形机器人、特斯拉、数据墙与合成数据


瓜哥AI新知
紧追AI业界一手观点、访谈、动态,点滴构建AI底层认知
 最新文章