北京时间11月3日，商业播客和媒体Masters of Scale 在Youtube上放出了创始主持人Reid Hoffman（LinkedIn联合创始人和Greylock合伙人）与微软AI CEO Mustafa Suleyman在2024 Masters of Scale 峰会上的对话视频。
在访谈中，两人谈及了人工智能技术中情商的重要性、人工智能模型的演变，以及模型小型化为创业者带来的机会等话题。
针对模型的发展趋势，微软AI CEO Mustafa Suleyman认为，未来模型变大和变小将会同时存在，大型、非常智能且推理成本高昂的模型会教小模型，然后小模型可以从AI反馈中进行强化学习。
Mustafa Suleyman 表示，“规模仍然将继续在这个领域占据一席之地。我们有足够的数据，至少在未来两到三年内，规模化模型将继续带来出色的性能表现。”
他还对创业者们表示，现在已经到了全心投入AI，进行转型的时刻。“这是一个创立公司、拓展公司规模的时机，也适合转变职业轨迹，即便你不是创业者，甚至作为活动家、组织者或学者都应该密切关注。”
以下是对话全文，智能超参数编译，enjoy：
Reid Hoffman：你和其他人有时会将人工智能比作一个“物种”。那么，作为思考人工智能的视角，这样的比喻如何？在哪些方面是个好的视角？在哪些方面可能会误导？这种视角应该如何指导我们对未来的思考？
Mustafa Suleyman：当我们遇到一些本质上全新的东西，它与我们以前见过的任何事物都不同，每一波新的技术浪潮都会让人有这样的感觉。想想看，第一次使用电力会有多么不可思议和疯狂。或者通过电话线与大西洋对岸的人通话，那会是多么震撼。
它会让你对可能性的世界观增加一个全新的心智表征。所以，每次发生这种情况，我们都在努力寻找正确的比喻，将其与我们已知的事物联系起来。虽然它最终不会像我们已知的事物，但在它到来之前，这是我们最好的尝试。
我提出这种“数字物种”的比喻，因为当你退一步看这些事物的能力时，这确实是最接近的相似之处，尽管这带来了许多我们不希望它具备的特性。
我认为这也以正确的方式框定了“约束”的问题。这些模型将能够看你所见、听你所听、实时理解和互动文本，并代表你采取行动。这些能力正逐渐流行起来。
我认为，物种的比喻是我们最相似的替代选择，这也为我们思考我们不希望它成为什么提供了一个有益的框架。
Reid Hoffman：那么，我们应该做的最重要的一件事是什么？以及最不应该做的一件事是什么，以此来引导数字物种的发展？顺便提一下，我推荐Mustafa的书《即将到来的浪潮》，书中也深入探讨了这个问题。这是60秒的简述版本。
Mustafa Suleyman：我认为这些模型的一个不可思议之处在于，它们对于你的输入不会给出精确的答案。我的意思是，这有点像是软件的宏伟目标。我们希望它能告诉我一些我不知道的事情。
所以，所谓的“幻觉”这个词其实有点不恰当。我认为这并不是缺点，而是优点。
Reid Hoffman：叫它“创造力”吧。
Mustafa Suleyman：是的，创造力。我们希望在某些输入下能够得到各种可能的回应。而这种可塑性和模糊性正是我们所需要的。因此，让它们自己学习事物的表示，而不是我们手工设计这些特征，这正是过去15年机器学习的核心动机，现在它终于能做到这一点了。
但我们需要弄清楚的是这种学习的边界在哪里。
目前，几乎没有递归的自我改进，或者说，几乎没有一个闭环的自我改进是不需要人类直接监督的。但我们可以预见到2025年左右，团队会开始试验这个领域。所以我认为这值得关注，应该谨慎对待。
另一件事是完全的自主性。如果这些模型能够在各种数字环境中独立互动，生成自己的虚拟机，操作网页，与API互动等，风险显然会增加。因此，这两项能力是我们非常关注的。
Reid Hoffman：另一方面，积极的方面呢？
Mustafa Suleyman：我认为积极的方面是，它们会有极大的创造力。我认为它们会帮助我们与自己最好的一面互动。如果设计得当，这些模型不会刻薄、苛刻、羞辱他人——大多数人类会表现得很糟糕，但这些模型没必要如此。
有些人会编程，让一些AI伙伴具有这些负面特征，但这不是必然的结果，这是某些设计者的选择。我认为在根本上，我们应该尽一切可能限制这类东西出现在生态系统中，在标准和价值观方面要有所约束。
但有些人会这样做。不过我认为，这些模型有很多空间可以真正帮助我们展现最好的自己。
我三周前读到一篇论文，报告说一些持有阴谋论的人，在与聊天机器人交谈了一段时间后（大概是六周左右），他们相信这些阴谋论的倾向减少了。这是因为聊天机器人是有耐心的，它没有评判，不会贬低你，总是回来并通常基于科学文献，以证据为基础地交流。
因此，有很多有前途的迹象表明，积极的一面将会是令人难以置信的。
Reid Hoffman：事实上，我要提前问你一个我原本稍后要问的问题，我觉得这是个很好的时机。当你、Karen和我开始Inflection时，一个基本原则是情商与智商同等重要。请谈谈这对微软Phi 模型意味着什么，以及这种想法在整个行业中的重要性，不仅仅是对Phi而言。
Mustafa Suleyman：我认为可以将智商视为答案的准确性、速度、全面性、相关性，及其对实时信息的访问程度。所有这些方面都在稳步进步。
而我注意到的是，人们通常忽略了信息的传递方式的重要性。工程师通常认为，只要我陈述事实，人们自然会理解这是对的。然而事实证明，语气、风格、模型的情商、它们问你问题的方式，能反映出你可能使用的语言类型等，这些传递内容的方式对大多数消费者而言比客观地复述维基百科更重要。
所以我认为，这将成为关键能力之一。我认为每个人现在都在努力应对这一点，因为这个未来不仅仅关乎行动。人们可以清楚地看到，这也关乎个性。我非常感兴趣的是如何设计个性，因为这才是人们真正重视的部分。
Reid Hoffman：谈到未来的Agent，让我们来看一下它的愿景。在 Copilot的角度上，你如何看待未来两到五年 Agent将如何在我们的生活中扮演角色？从物种的层面到具体的应用，哪些方面对这些 Agent是重要的？
Mustafa Suleyman：Agent未来的第一步是你的 Copilot（副驾驶）——你的AI伙伴——必须能看到你所看到的东西。拥有一个能真正看到你屏幕上的像素、浏览器、桌面和手机上的内容的助手或伴侣，意味着它可以实时了解你的感官输入，这样你的AI伙伴就能观察到你所看到的东西。
然后你可以使用模糊的引用，例如“记得我看到的那个东西吗？”或“那些东西在哪儿？”这是一种我们从未有过的理解水平。这使得你的AI可以代表你采取行动。
这意味着在浏览器中导航，使用API，预订、购买和计划等。我认为目前有很多很酷的演示展示了这些功能。我觉得我们离能投入生产还差一段路。
回顾过去的几波发展，你可以看到类似的趋势。就像，在GPT-3出现之前，有一些模型，大型公司内部的LLMs（大型语言模型）等等，那可能是在2020年，2021年，它们真的很不稳定。
我认为，这可能就是我们在AQ（行动商数）方面所处的位置，让事情有50%，60%的时间能够正常工作已经很不错了。我们必须将它们提高到99%的准确率。
你可以在语音识别和听写技术中看到这一点。那已经是一个有15或20年的发展历史的领域了。只是在最近两三四年间才达到99.5%左右的准确率，并且已经实现个性化。
所以我们可能还需要几年才能实现这个目标。
Reid Hoffman：那么你认为语音输入的交叉点是什么？因为我完全同意。我实际上认为生成式AI的革命使得这种对话成为可能，从而大大提升了语音输入的效果，因为你不需要打字，可以直接对它讲话，然后它能够真正理解你在说什么。这种提升如何将 Agents的潜力更好地发挥出来呢？
Mustafa Suleyman：界面，界面的形状，非常抽象地说，决定了你能输入什么。因此，搜索引擎中的搜索框只是一个信箱式的输入框，我们学会了使用搜索的语言。
由于搜索引擎的搜索框仅是一个字母框，我们学会了“搜索语言”，把我们的想法压缩成一个三、四或五个词的短语，甚至不是一个完整的句子。
Reid Hoffman：平均长度大概是1.6个词，只是给你一个参考。
Mustafa Suleyman：确实是这样，也许是1.6个词。而关于语音体验的有趣之处在于，它似乎在与你的计算机互动时解锁了你大脑的新部分。因为你可以用完整的句子说话，可以自我更正，还可以来回切换，还可以加入我们随口讲出来的那些“杂话”。
模型也会以段落的形式回复你，这让你突然觉得，可以提出并讨论那些你原本不会去数字化的事情。
我认为这是一个很好的框架，它向我们展示了未来可能在行动方面发生的事情。因为你有了一个永远在身边的AI伙伴，它可以做任何你在数字世界中可以做的事情，你会让它去做那些你自己不会去做的事情，因为它太麻烦了。
这确实是一个大的转变，因为完成任务的进入门槛即将降低到几乎不存在。由于边际成本为零，摩擦也显著减少。因此，你会想到自己原本没想到去做的事，因为它变得如此方便。
Reid Hoffman：你认为这些工具如何帮助我们变得更具创造力？这种与 Agent的互动会带来怎样的灵感和启发呢？
Mustafa Suleyman：想一想你一天中会冒出的各种随机想法、事情或者疑问。如果你认真冥想一下你的潜意识，想想那些瞬间——“我在想什么”“我猜想”——它们几乎是“次语言”层面的想法。
这些通常不会被表达出来，因为你没有一个随时随地倾听你疯狂想法的人，除了你自己。而你也不会总是有动力去输入这些内容。实际上，拿出手机来输入也是一个很高的门槛。
我会在一天里进行多次搜索，但这还是有点麻烦。因此，如果进入门槛更低，那么你所能产生的创造性想法范围就会扩大，而这些想法可以在你的AI伙伴的帮助下得到具体体现。
然后，因为它们能够记住——这是另一个即将在行动之前到来的重要事情——那就是记忆。我们将搞定记忆问题。我非常相信，在2025年，永久记忆的问题将得到解决。
如果你想想看，我们已经在网络上有了记忆。我们现在可以相当准确地从网络上检索信息。Copilot的引用工作做得非常好。它能更新到15分钟前的信息，知道网络上新闻里发生了什么，等等。
所以我们只是在将这个过程压缩，以便为你的个人知识图谱提供服务。你可以添加自己的文档、电子邮件等个人信息。记忆功能将彻底改变这些体验，因为有意义的对话或对某些创造性想法的探索往往会持续几次对话，而不希望每次都从头开始。现在，我们的AI会记住先前的对话内容。
这不仅会降低表达创造性想法的门槛，而且这些想法不会被遗忘。这样你可以模糊地引用你之前说过的东西，例如“我三周前提到的那个事物是什么？”或“这与我们讨论的另一个事物如何相关？”
这就好比拥有了“第二个大脑”，它就像是你思维的延伸。这就是为什么情商的作用至关重要。
Reid Hoffman：那么让我们来讨论一下模型的技术细节。因为这里有许多企业家，大家都在思考这个领域在未来几年如何演变，以及需要关注的重点。
Mustafa Suleyman：好消息是模型正在同时变得更大和更小，这种趋势几乎肯定会继续下去。
近年来，一种新的方法开始流行，称为“蒸馏”。大型、非常智能且推理成本高昂的模型会教小模型，然后小模型可以从AI反馈中进行强化学习，并且这种监督似乎非常有效。
但规模仍然将继续在这个领域占据一席之地。我们有足够的数据，我认为至少在未来两到三年内，规模化模型将继续带来出色的性能表现。同时，我们还在加入新的模态，例如视频、图像等。
但我们真正关注的难点在于跨复杂数字服务的动作轨迹。例如，从浏览器跳转到桌面，再切换到手机，从不同的生态系统间转换，无论是在封闭环境中还是在开放网络中。
我们试图理解这些轨迹，收集大量这类数据，使用超文件和微调等技术进行优化。我认为这将带来许多令人印象深刻的成果。
Reid Hoffman：关于数据的讨论非常丰富，涉及许多角度，比如哪些数据可以运行，以及数据的质量。在网络上有大量关于数据集的讨论，但人们往往没有花足够的时间思考新数据的来源。
例如，我认为合成数据是一个有趣的领域。假如我们有这样的数据，我们可以训练出更好的小模型和大模型。那么企业家应该如何思考这些数据的获取方式以及它们的整合方法？
Mustafa Suleyman：我意思是，想想一个“提示”（Prompt）。不仅仅是一个问题，而是一组高质量的指令，指导预训练模型以特定方式行事。这种高质量的数据实际上是模型的“数据”。
当你写一个三页的风格指南，并附上模仿的例子时，那就是一个提示。然后你接着可以对一个已经被提示的模型提问。考虑到这一点，提示可以看作是你的数据。它是你高质量的指令集，给你的预训练模型提供了特定的行为方向。
这真的很了不起，模型可以仅仅根据几页的指示，表现得与一个以完全不同方式被提示的模型截然不同。这本身就很疯狂。
但如果你再退一步，从模型表现的角度来看，若要在细微差别、精确度和细致入微上表现出色，并真正遵循你的品牌价值或你想要创造的独特产品，你需要展示成千上万的良好行为示例，并将这些示例微调到模型中，这实际上是对某些高质量且准确的数据进行预训练过程的延续。
好消息是，成千上万的示例对于许多小众领域或特定行业来说是非常容易获得的。这就是一种优势。我认为在高质量微调预训练模型方面，初创企业有很多机会。这样，你会得到对你关心的行为政策更加稳定的遵循。
Reid Hoffman：企业家们如何看待小模型的使用和部署？显然，他们将利用微软、OpenAI、谷歌等公司的前沿模型来帮助他们，因为这些公司拥有数十亿美金的模型。但是小模型的独特性和机会又在哪里？
Mustafa Suleyman：我认为小模型将是未来发展的一部分。当你向一个非常大的前沿模型发出查询时，它会激活数十亿个并不相关的神经路径。
尽管它能够高效地进行搜索或引用大量节点，但并不总是有必要这么做。如果你有一个紧凑的用例，那么我们将知识压缩到更小、更便宜的模型中，它甚至可以放在冰箱磁铁上。
Reid Hoffman：我听你之前提过这个比喻——冰箱磁铁？
Mustafa Suleyman：对啊，我能想到的最小的数字化物品就是它了。也许它甚至不是数字化的。显然冰箱磁铁不会对量子计算了解很多，但它会知道它需要知道什么，以便在早上欢迎你，给你天气，谈论冰箱里可能有什么，可能没有什么，提醒你日历。
也许它只需要几千万个参数。目前还没有人深入探索这种可能性，但它完全可行，任何两人团队都可以进行探索。
Reid Hoffman：这也是为什么创业精神在这场会议中占有重要地位。我将继续我们最后一个问题的稍长版本，那就是：在未来，人们应该思考的关键问题是什么？
对于我来说，我想从我刚才说的内容中概括一下，那就是我们作为技术人员需要思考哪些因素，以设计一个更人性化的未来？当人们想到更人性化时，常常会联想到一些经典的概念，比如人类在过去几千年中的演变。这当然是一个重要方面。
但展望未来同样重要。因为随着我们技术的演进，我们的人性也在演变。我们通过这些技术进步来提升人性，无论是通过我们的播客设备，还是其他任何工具，这些都是改变我们作为人类的本质的一部分。
所以，别忘了，我们拥有情感和热情。当然，我们有同情心。但是，这些情感是如何在我们与技术的互动中得以表达的呢？这就是我想提出的一个重要问题。在给你几秒钟思考的时间后，希望你能考虑这个问题。
Mustafa Suleyman：我会说：问问自己，你是否全心投入了？因为现在真的是一个转型的时刻。
有充足证据表明，过去五十年间的重大技术变革重塑了整个结构。这是一个创立公司、拓展公司规模的时机，也适合转变职业轨迹，即便你不是创业者，甚至作为活动家、组织者或学者都应该密切关注。
在过去的五十年里，我们有足够的证据表明大型技术转型，所有事物的结构都得到了重塑。
我认为这是一个创立公司、扩大公司规模的时刻。这是一个真正转变职业的时刻，即使你不是企业家，即使你是一名活动家或组织者，如果你是一名学者，现在是真的需要关注的时候了，
因为到了2050年，这列火车将早已开走，世界将变得截然不同。这是一个我们确实有机会集体塑造和影响事物的时候。没有什么是一成不变的。
未来真的掌握在我们手中，我们有机会塑造一个对人类最有利的未来。我认为这是非常幸运的事情，能够在这个时刻活着，充满了力量，同时也肩负着巨大的责任。
Reid Hoffman：我完全同意。现在你就知道为什么我如此激动地以Mustafa来开启今天的活动了。让我们感谢他。
推荐阅读：
硅谷投资人谈科技巨头加码AI投资：因为AGI是帕斯卡赌注中的“上帝”
觉得内容有收获，请您加个关注，标个星～ 谢谢您
