Michael Jordan：关于人工智能的集体主义愿景 | CCCF精选

感谢CNCC的邀请，我很高兴能在这里演讲。我是一名人工智能研究员。我想从关于人工智能(Artificial Intelligence, AI)未来的一些思考开始谈起。

我有一个与众不同的想法，可能和你们中许多人熟悉的不太一样，我称之为“集体主义人工智能”(collectivist AI)。

人工智能这个词已经有六十多年的历史了。值得注意的是，在这个词语被创造出来的时候，还有其他词语也在被使用。例如，“控制论”(Cybernetics)是诺伯特·维纳(Norbert Wiener)提出的一个面向网络的术语，它关注的是动物和群体的智能；“智能增强”(Intelligence Augmentation)是由道格拉斯·C. 恩格尔巴特(Douglas C. Engelbart)提出的术语，用来描述计算机如何帮助人类变得更加智能，如搜索引擎；而“人工智能”是约翰·麦卡锡(John McCarthy)提出的一种基于逻辑的、面向单一实体的智能方法。

然而，我认为，以上三种视角都没有真正描述其后发生的事情。实际上是机器学习主导了过去几十年人工智能的发展。机器学习是一种处理大量数据并进行预测的范式。它擅长使用基于梯度的算法和规模大但相对简化的计算平台进行预测。我认为，思考机器学习的四个阶段是有益的（见图1）。第一阶段是模拟企业后端，如阿里巴巴的供应链，预测零件到达工厂的情况；第二阶段是推荐系统，预测人们的购买行为；第三阶段是预测句子中的下一个词，用人类的自然语言进行预测，这大概是我们现在所处的阶段。这是从物体后端世界向更多面向人的世界的一个转变。这种改变本质是数据形态的改变，并非算法本身。算法仍然是简单的预测方法，这既是好事也是一个限制。

图1 机器学习的四个阶段

机器学习领域的根基实际上并不是逻辑学，而是统计学和计算机科学里的算法和优化，以及越来越多的微观经济学（见图2）。这里，我们讨论的是将不同群体放在一起，每个群体都有自己的需求，并且需要一些激励(incentive)以使他们成为集体的一部分。

图2 机器学习领域的根基

我们现在看到的关于AI的讨论是基于一种可以超越人类思想、能回答一切问题的智能实体。我不认为这是一个非常现实的愿景，也不认为这是一个好的前进方向，我认为当前关于AI的讨论缺失了三个重要的方面。其一是集体主义，集体主义才是使人们变得更聪明的方式。单个个体并不聪明，我们之所以聪明，是因为我们在群体中。其二是不确定性(uncertainty)，当前的AI 缺失了人类很擅长的处理不确定性的能力。不确定性是我们所处世界的一个重要部分，每个人都会面临很多不确定性，比如明天会发生什么、明年会发生什么。当我们在群体中时，可以很好地处理不确定性。其三是激励(incentives)问题，人们为什么会聚在一起，或者说人们从集体主义中获得了什么。计算机如果要与人类互动，就需要能表达不确定性和激励的语言。

不确定性并没有被广泛讨论，但它非常重要。如果你让ChatGPT这样的大语言模型说些什么，它会给你一个答案。如果你问它有多确定，它可能会说我很确定。但如果你说，这里有一些其他的事情需要考虑，你读读这个，它会说，哦，你是对的，然后它会改变主意。这说明它并没有一个很好的不确定性模型。这不是你希望从一个合格的专家那里得到的答案。比如，如果你问医生对诊断有多确定，你希望医生能说出更有说服力的话，比如：我不确定，让我们获取更多数据，让我们问问别人，或者我非常确定，因为某种原因，等等。我们可以看到，ChatGPT在进行不确定性计算方面是在伪造(faking)。图3展示了一个关于ChatGPT不确定性的例子，理想情况下的人类不确定性应该在45°线上，而ChatGPT几乎总是给出1或0，表示它非常确定或非常不确定。

图3 ChatGPT的不确定性量化缺失

以下这个关于不确定性的简单决策问题就可以证明集体主义的力量。

如图4所示，有一只鸭子试图决定去湖的左边还是右边觅食。湖左边的食物是右边的两倍多。因为鸭子已经来过几天了，并对这些天的可用食物量进行了统计，所以它知道这一点。问题是，鸭子明天和后天应该去哪里觅食？现在最佳的决策是去左边，因为那里有更多的食物。这被称为在不确定性下的“贝叶斯最优决策”(Bayesian optimal decision)。而鸭子实际上并没有这样做。事实证明，鸭子做的是所谓的“概率匹配”(probability matching)。它会用三分之二的时间去左边，三分之一的时间去右边。人类会采取类似的策略吗？答案是肯定的。在很多这样的不确定情况下，人类也是概率匹配者。在类似的实验中，被试者有三分之二的时间选择左边，三分之一的时间选择右边。

图4 鸭子觅食的决策

那么这样的系统是什么样的？我们如何看待它们？它们能做什么？因为现在有大量数据在节点之间流动，我们可以使用算法来分析那些数据以及节点间的互动。此外，每个人或计算机可以连接到很多实体，于是拥有很多输入数据和实质上的互动。但问题是，是什么激励人们参与其中？所有人都会参与吗？参与的那部分人是你希望看到的那部分吗？也许这里会有不公平的问题。在哪些情况下会有人被要求提供数据？是否会有人撒谎？这些问题为人所熟知，但目前还没有实际的解决方式。而这正是我从事的工作。

接下来，我将展示真正的算法和想法，以及几个关于如何将市场机制与新兴AI系统中的预测结合起来的例子。我们需要的不仅仅是预测，还需要效用、价格和激励。

我加入了一家名为联合大师(United Masters)的公司，我是公司的董事会成员，首席执行官是史蒂夫·斯托特(Steve Stoute)。

这是一个将音乐带给用户的三方市场（见图5）。这家公司有大约300万名签约音乐人，他们不是富有的著名音乐家，而是普通人，大多数是在电脑上制作音乐的二十来岁的年轻人。他们制作的音乐非常好，但通常是在互联网上免费播放，听众很多，可没有人在这里赚到钱，这其实是音乐行业的现状。如果你只考虑听众和制作人，那还不是一个真正的市场。因为没有人付款，音乐人没有收益。所以这个市场还有第三条腿——品牌。联合大师已经与美国国家篮球协会（以下简称“篮协”）、百事可乐和许多其他大公司签订了合同。这些大公司为什么需要音乐？如果你去篮协的网站上看一个视频，你会看到比赛，还会听到一些背景音乐。这种音乐过去要从唱片公司以非常高的价格购买。现在，篮协与联合大师签订了合同，来自这些年轻音乐人的背景音乐售价会便宜得多。年轻音乐人的音乐在流媒体上播放时，他们能得到报酬。其他品牌公司看到后，就能知道某位音乐人在这个网站上很受欢迎。如果有类似的受众需求，其他品牌公司也会联系这位音乐人，尝试与他合作，邀请他为品牌写歌，并与他建立持续的关系。这是正在真实发生的事情，现在有300个品牌和大量的听众，为这300万名签约的年轻音乐人提供了更多的机会。

图5 联合大师的三方市场模型

这个三方推荐系统或者说三方市场里有很多AI模型和市场机制的问题。你怎么知道这首歌在网站上会受欢迎？你怎么知道这位音乐人的音乐可能会被听众听到？数据分析使之成为可能。那么谁是参与者？他们是如何连接的？这三个市场之间都有数据流，数据分析使市场比其他方式更有效。联合大师目前在美国、巴西和尼日利亚运营，我相信它将更广泛地传播。

考虑市场的三个方面是一种标准模型，如果只在互联网上转换比特数据和移动音乐，那么没有人能赚到钱。所以Spotify（一家瑞典的数字音乐流媒体服务公司）人为地创造了一个带广告的市场来获得收益。但问题是，它不打算把钱还给音乐家，甚至有迹象表明它使用通用人工智能来取代音乐家制作“假”音乐。所以我想强调，这个市场需要三方协调。对我来说，这才是AI的未来。

下面是另一种市场设定下的例子，我一直在与我的博士后阿里雷扎·法拉(Alireza Fallah)研究这个问题。

它涉及对全球现有系统的数学分析。众多系统由三个核心部分构成：用户、平台和数据买家，这些构成了所谓的数据市场（见图6）。数据已经成为一种商品，不仅用于银行预测，而且已经被用于交易。用户在寻求平台服务的同时也提供了数据。以支付宝为例，用户在使用过程中产生的数据流向了支付宝，支付宝利用这些数据优化服务。然而，这种数据流动并不总是能够为平台带来直接的经济收益，这时第三方数据买家的角色就显得尤为重要。他们购买数据用于其他目的，比如在上海进行市场研究，了解当地餐馆的流行趋势。平台提供数据，数据买家并不与平台竞争，他们将数据用于不同的目标。

图6 三层数据市场

这个市场看似已经形成，但激励机制是什么？为什么数据买家和用户要参与其中？用户可能会对隐私泄露感到不满，他们的数据被卖给了第三方。因此，我们需要在市场里考虑隐私问题，比如平台承诺实施差分隐私(differential privacy)来增加数据噪声。这种噪声应该增加到什么程度？这是市场需要做出的选择。一些平台可能会增加很多噪声以保护隐私，而其他平台则较少。用户将面临选择，他们可能会倾向于选择隐私保护更好的平台。这将导致这些平台获得更多数据，进而提供更好的服务，吸引更多用户，形成一个正反馈循环。另一方面，数据买家可能会因为数据噪声过多而不愿支付高额费用，这就需要平衡不同的激励措施。不同团体有不同的激励，那么这个市场的均衡是什么？平台的价格、隐私设置和数据价值将如何确定？数据价值取决于它解决的问题和上下文，图6所示的架构可以描述这一点，并可以用经济模型来分析。如果你对这些主题感兴趣，可以在arXiv上找到包括我们的论文[1]在内的所有相关论文。

我们构建了一个模型（见图7），将数据价值分解并使用数学符号表示。对于数据价值，我们不仅要预测，还要考虑效用，因此使用效用函数进行分析。效用涉及用户向买家透露信息的程度，以及买家对这些信息的关心程度与他们愿意支付价格的权衡。我们可以通过斯塔克尔伯格博弈(Stackelberg game)模型分析系统的均衡，这是博弈论中的一种方法。在这个过程中，平台、用户和买家依次做出决策，我们可以找到系统的均衡点，并将其作为参数函数。监管机构可以基于这些结果进行监管，比如某些参数值可能导致高社会福利，而其他值则可能导致低社会福利。这意味着这些参数可能是监管的目标。监管机构可以基于均衡结果进行监管，但目前大多数国家并没有这样做。以欧洲的《通用数据保护条例》(GDPR)为例，它没有基于系统均衡进行监管，而是简单地禁止某些类型的数据传输。这是一个“简单粗暴”的做法，几年后，很明显这对欧洲公司，特别是中等规模的公司是有害的。这是一个不良的均衡。我们的分析提供了一种更好的监管方式建议，更多细节请参见文献[1]。

图7 数据价值分析模型

在我演讲的最后一部分，我想介绍我们小组在过去几年中进行的一个关于统计契约理论(Statistical Contract Theory)的项目。契约(contract)将成为这个故事中一个非常重要的新兴部分，它们是将数据、预测与激励相结合的方式。

激励意味着有人出于某种目的想要做某事，也与他如何选择做某事的价格有关。以航空公司为例，它们想让我坐飞机，并提供机票价格。40年前，飞机上的每个座位都是一个价格，这不是一个有效的模型。航空公司通常无法满载运营，政府不得不对其提供补贴。随后，契约的想法被创造出来，不同的座位可以有不同的价格和不同的服务水平，比如商务舱和经济舱。这意味着每个人都会得到一个选项菜单，一个价格对应一个服务。每个人都会得到相同的菜单，然后选择他们喜欢的价格和服务。公司将收获整个市场的消费者，而不仅仅是一个消费者类别。这对航空业来说非常重要，这就是经济学家所说的主体-代理模型(principal-agent model)。

主体有想要做的事，比如航空（主体）公司想要得到乘客；代理（乘客）也有想要做的事，比如从一个地方到达另一个地方。这两者互动，代理知道一些主体不知道的事情，比如他们知道自己愿意支付的价格，但他们不会把这个信息告诉主体。比如我今天准备支付1000元人民币去义乌，别人可能愿意支付5000元，也可能明天就会改变，这取决于所处的情境。航空公司不知道这些，因此无法分别为每个人提供一个价格。他们需要提供一个菜单，一个契约。

我们的工作正是研究这样的问题。我们聚焦于有很多真实数据的临床试验领域。临床试验将决定药物上市的方式。制药公司会推出新的药物，公司希望这些药物能让人们更健康，但不知道是否真的有效，因此药物必须经过测试。但哪些药物被测试？哪些被批准？这是主体和代理之间的互动。如果你试图在没有主体代理机制的情况下提出这个问题，那么制药公司会向监管机构提出很多方案。监管机构会看到许多不是很有效的药物上市。如果你把它作为一个主体-代理问题来考虑，主体（监管机构）想要做的事情是把一种有效的药物推向市场，代理（制药公司）想要通过这个过程把他们的药物推向市场并获得批准。这两件事必须通过契约互动完成。因此我们设计了契约，使用数据分析作为契约设计的一部分。文献[2]展示了统计契约的具体形式。它们是由不同团体做出的一系列选择，中间有一个关于临床试验的测量量(measurement)，最终可以分析其中的均衡，并将更有效的药物推向市场。

总而言之，我希望读者已经对我所说的关于人工智能的集体主义愿景有了一点了解。它说的不是一个实体知道一切，而是互动的群体。它还包括市场机制。问题在于：人们如何以一种能实现个体价值的方式来进行群体互动？我们如何将其与正在开发的AI系统结合起来？

非常感谢大家！

（本文根据CNCC2024特邀报告整理而成）

迈克尔·I. 乔丹(Michael I. Jordan)

法国国家信息与自动化研究所(INRIA)研究员，美国加州大学伯克利分校教授。2022年世界顶尖科学家协会(World Laureates Association, WLA)的首届获奖者，曾获IEEE约翰·冯·诺依曼奖章、IJCAI卓越研究奖等。主要研究方向为机器学习、统计学习、人工智能等。

jordan@cs.berkeley.edu

胡欣妍

美国加州大学伯克利分校计算机系博士研究生。主要研究方向为机器学习理论、算法博弈论、人工智能。

xinyanhu@berkeley.edu