这次访谈,Scale AI 的 CEO Alexandr Wang 主要分享了:
1、AI 发展阶段论:
第一阶段是现代深度学习的探索期
第二阶段从GPT-2到GPT-4的进步主要来自预训练
第三阶段从去年3月到现在的进步则主要来自后训练
2、美国政府AI的投资却不足:
美国国防部在数据和AI方面的投资比中国少3到10倍。中国是全球第二大军费开支国
Alexandr Wang是谁,他是 Scale AI 的 CEO 和创始人。Scale AI 是一家专注于为人工智能应用提供高质量数据的公司,被认为是该领域的领军企业。
以下是访谈内容
主持人:这是的新办公室!
Alexandr Wang:新办公室很不错!我们Scale AI 的使命是生产驱动下一代AI发展所需的所有数据。过去有效的方法未来不一定有效。我们要做的就是利用我们现有的数据基础设施和“数据工厂”,帮助所有企业运用其专有数据,构建定制化的AI助手,服务于各自的业务。
主持人:你们还在招很多大学毕业生吧?
Alexandr Wang:我大学没毕业就创业了,所以我们很重视大学生的能力和热情。我们在纽约、华盛顿和伦敦都设有办公室。
主持人:太棒了!你几乎是和AI一起成长的。你认为AI发展现在处于哪个阶段?大局已定、尘埃落定?还是刚刚开始?或者正处在中场?
Alexandr Wang:我认为AI发展的第一阶段是现代深度学习的探索期,从ImageNet和AlexNet开始。ImageNet是第一个大型的图像数据集,AlexNet是第一个用深度神经网络解决图像识别问题的案例,比如谷歌让AI在YouTube视频里识别猫。这个探索期大概是从2009年到2020年,主要尝试各种不同的模型架构和数据集,并首次证明了扩大模型规模确实有效。从GPT-2到GPT-4的进步主要来自预训练,也就是用更多的GPU处理更大规模的互联网数据。而从去年3月到现在的进步则主要来自后训练,通过改进训练方法(SFT和HF DPO)和使用高质量的小型数据集,来提升模型性能。
主持人:所以你们现在实际上是在根据模型开发者的特定需求,创建独一无二的数据集?
Alexandr Wang:没错。我们现在把自己定位成“数据工厂”,而不仅仅是数据标注员。现在业界对AI助手很感兴趣,但几乎没有数据能训练AI助手像人一样思考和行动。我们认为,未来几年最重要的任务之一就是为AI助手的真正落地打好基础。
主持人:我猜AI助手最大的应用场景应该在企业级市场。企业需要定制化的AI助手来完成特定工作。那么,这对Scale AI的企业级业务发展意味着什么?
Alexandr Wang:我们要做的就是把支持大型AGI项目的基础设施和“数据工厂”也用来支持所有企业,帮助他们利用专有数据构建定制化的AI助手。现在很多企业在AI应用落地方面遇到了困难,试点项目效果很好,但难以转化为实际产品。我们要帮助他们改进和调整模型,用专有数据或新数据来提升模型,最终实现产品化。
主持人:你认为现在人们对即将到来的AI时代有足够的认识和准备吗?美国在资金投入方面是否足够?
Alexandr Wang:科技巨头在AI领域的投资总额将在未来某个时候超过美国国防预算。这对美国来说是好消息。但美国政府自身的投资却不足。商业领域可能拥有先进的AI技术,例如,美国国防部在数据和AI方面的投资比中国少3到10倍。中国是全球第二大军费开支国,而美国在AI领域的投资组合却严重不足。关于国防现代化和国防采购创新有很多讨论,但我担心的是,我们的行动还不够快。
关注《森林聊AI商业》公众号
了解 AI 如何塑造商业的未来