接上篇“从高中生到博士生，也许只需要三年”｜Anthropic创始人Dario Amodei长谈Claude，AGI，人类与AI的未来，继续把Lex Fridman采访Claude创始人Dario的深度访谈内容发完。

这部分除了访谈Dario，还访谈了Claude团队成员，Amanda Ascal。

Amanda Ascal曾求学于牛津大学和纽约大学，伦理学博士。

我在与Claude的大量对话中，也曾关于它是否有在迎合我这个点，多次挑战Claude。

而Amanda所研究的AI政策，也将是未来人类与AI共生关系中的关键因素。

（因为Claude长prompt的额度消耗太快，这篇依旧没有完成全部，预计还有1-2篇）

Dario兄妹俩曾在openai工作

Dario Amodei:

我想说一些数字,但我要非常谨慎,因为每次当我说2026或2027时,在Twitter上就会有很多人说"他说2026/2027",这会被重复好几年。所以谁在摘录这些片段的人,请把我刚才说的也一并摘录出来,而不是只摘录我接下来要说的话。

但我还是要说:如果你推测目前的发展曲线,如果你说,好吧,我不知道我们现在开始达到博士水平,去年是本科水平,前年是高中生水平。当然你可以在具体任务和程度上质疑这种说法。我们仍然缺少一些模态,但这些正在被添加进来,比如计算机使用功能被添加了,图像生成也被添加了。如果你只是粗略地看这些能力增长的速度,确实会让人觉得我们将在2026或2027年达到那个水平。

当然,很多事情可能会使其脱轨:我们可能用完数据,可能无法按照我们想要的方式扩展集群,比如说台湾可能发生什么事,然后我们就不能生产想要的那么多GPU。所以有各种事情可能会使整个进程脱轨。所以我不完全相信直线外推,但如果你相信直线外推,我们会在2026或2027年达到。我认为最有可能的是相对于这个时间表会有轻微的延迟。

我不知道延迟会是多少,但我认为它可能会按计划发生,可能会有轻微的延迟。我认为仍然存在100年内都无法实现的可能性。但这种可能性的数量正在迅速减少。我们正迅速用尽真正令人信服的阻碍因素,那些能说明为什么这不会在未来几年发生的令人信服的理由。2020年的时候这样的理由还有很多,尽管我当时的直觉判断是我们会克服所有这些障碍。

所以作为一个已经看到大多数障碍被清除的人,我的直觉,我的怀疑是,其余的障碍也不会阻碍我们。但是你知道,说到底,我不想把这表述为一个科学预测。人们称它们为扩展定律,这是一个误称。摩尔定律是一个误称,扩展定律也是。它们不是宇宙的法则,它们是经验规律。我会押注它们会继续,但我并不确定。

Lex Fridman:

你详细描述了21世纪的压缩版,AGI将如何帮助在生物学和医学领域取得一系列突破,帮助我们以各种方式。那么你认为最早的步骤是什么?顺便说一句,我问过Claude该问你什么问题,Claude告诉我要问在这个未来里,一个与AGI合作的生物学家的典型一天是什么样的?

Dario Amodei:

是的,Claude很好奇。让我先回答你的第一个问题,然后再回答这个问题。Claude想知道它的未来是什么样的,确切地说,我将与谁合作。

在文章中我强调的一件事,因为它真的对我产生了影响,就是在大型组织和系统中,最终会有一些人或一些新想法,会让事情朝着不同的方向发展,会对轨迹产生不成比例的影响。在医疗领域也有类似的情况:我们有数万亿美元用于支付医疗保险,国立卫生研究院的预算是1000亿美元,如果我想到真正革命性的东西,那可能只是其中很小的一部分。

当我思考AI会在哪里产生影响时,我在想AI能否把那个小部分变得更大,并提高其质量。在生物学领域,根据我的经验,生物学最大的问题是你看不到发生了什么。你几乎没有能力看到正在发生什么,更不用说改变它了。

你只能从这些迹象推断出,每个细胞内都有30亿个碱基对的DNA,根据遗传密码构建,你知道,有所有这些过程在进行,而我们作为未增强的人类无法影响它。这些细胞在分裂,大多数时候这是健康的,但有时这个过程出错了,那就是癌症。细胞在衰老,你的皮肤可能会改变颜色,随着年龄增长会出现皱纹,这一切都由这些过程决定,所有这些蛋白质被产生,运输到细胞的各个部分,相互结合。

在我们对生物学的初始状态中,我们甚至不知道这些细胞存在。我们必须发明显微镜来观察细胞,我们必须发明更强大的显微镜来看到细胞以下的分子水平,我们必须发明X射线晶体学来看到DNA,我们必须发明基因测序来读取DNA。现在你知道,我们必须发明蛋白质折叠技术来预测它会如何折叠以及它们如何相互结合。我们必须发明各种技术,现在我们可以用CRISPR编辑DNA,这是过去12年的事。

所以生物学的整个历史,很大一部分是我们阅读和理解正在发生什么的能力,以及我们有选择地改变事物的能力。我的观点是,我们在这方面还有很多可以做的。你可以进行CRISPR,但你不能对整个身体都这样做。比方说,我想对一种特定类型的细胞进行操作,并且我希望目标错误率非常低,这仍然是一个挑战,这仍然是人们正在研究的东西,这可能是某些疾病基因治疗所需要的。

所以我说这些,它超越了基因测序,超越了观察细胞内部发生的事情的新型纳米材料,超越了抗体药物偶联物。我说这些的原因是,这可能是AI系统的一个着力点。这种发明的数量,在生物学历史上可能是两位数中期或者低三位数。假设我有一百万个这样的AI,它们能否很快发现成千上万个这样的东西?这是否提供了一个巨大的杠杆,而不是试图利用我们每年在医疗保险上花费的2万亿美元,我们能否利用每年花费的10亿美元来发现,但质量要高得多?

那么与AI系统合作的科学家的生活是什么样的?我的看法是,在早期阶段,AI将像研究生一样。你会给它们一个项目,你会说,你知道,我是有经验的生物学家,我已经建立了实验室。生物学教授甚至研究生本身会说,这是你可以用AI系统做的事情。我想研究这个,AI系统有所有的工具,它可以查找所有文献来决定做什么,它可以查看所有设备,它可以去网站说嘿,我要去Thermofisher或者不管现在什么实验室设备公司是主导,我要订购这个新设备来做这个,我要运行我的实验,我要写一份关于我的实验的报告,我要检查图像是否有污染,我要决定下一个实验是什么,我要写一些代码并运行统计分析,所有研究生会做的事情。

会有一台装有AI的计算机,教授偶尔会和它交谈,说这是你今天要做的事情,AI系统会在必要时带着问题来找它。当需要运行实验室设备时,它可能在某些方面受到限制,可能需要雇用一个人类实验室助手来做实验并解释如何做,或者它可以使用过去十年左右开发的实验室自动化进展,这些进展将继续发展。

所以看起来会有一个人类教授和一千个AI研究生。你知道,如果你去找一个诺贝尔奖得主生物学家,你会说好的,你有50个研究生,现在你有一千个,而且顺便说一下,它们比你更聪明。然后我认为在某个时候,情况会翻转过来,你知道,AI系统将成为PI(首席研究员),将指导人类或其他AI系统。

Lex Fridman:

它们会成为CRISPR这样技术的发明者吗?

Dario Amodei:

它们会成为CRISPR这样技术的发明者。然后我认为,就像我在文章中说的,我们可能会想要,可能说"释放"不是正确的词,但我们想要利用AI系统来改进临床试验系统。其中有一些是监管方面的,是社会决策的问题,这会更难,但我们能否更好地预测临床试验的结果?我们能否在统计设计方面做得更好,这样原本需要5000人和1亿美元、需要一年时间招募的临床试验,现在只需要500人和两个月时间招募?

这是我们应该开始的地方。你知道,通过在动物试验中做我们过去在临床试验中做的事情,在模拟中做我们过去在动物试验中做的事情,我们能否提高临床试验的成功率?当然,我们不能模拟一切,AI不是上帝。但是你知道,我们能否实质性地、根本性地转移曲线?

Lex Fridman:

你说还是要把事情一步一步来。

Dario Amodei:

是的,是的。即使我们仍然需要临床试验,即使我们仍然需要法律,即使FDA和其他组织仍然不会是完美的,我们能否只是朝着积极的方向推动一切?当你把所有这些积极的方向加起来,你是否能得到从现在到2100年要发生的一切,而是在2027年到2032年之间发生?

另一种我认为世界可能因AI而改变的方式,甚至今天也是如此,但正朝着这个超级有用的AI的未来发展,是编程。考虑到它与实际构建AI的行为如此密切,你如何看待编程的性质对我们人类的改变?

我认为这将是最快改变的领域之一,原因有二:一是编程是一项非常接近实际构建AI的技能。技能离构建AI的人越远,被AI打乱的时间就越长。就像我真的相信AI会影响农业,也许在某些方面已经影响了,但那离构建AI的人非常遥远,所以我认为需要更长时间。但编程是Anthropic和其他公司大部分员工的基本工作,所以它会发生得很快。

它会发生得很快的另一个原因是,在编程中你可以闭环,无论是在训练模型还是应用模型时。模型可以写代码这个想法意味着模型可以运行代码,然后看到结果并解释回来。所以与硬件不同,与我们刚才讨论的生物学不同,模型真的有能力闭环。所以我认为这两件事会导致模型很快就在编程方面变得很好。就像在典型的真实世界编程任务中,模型已经从今年1月的3%上升到10月的50%。所以你知道,我们正处在S曲线上,因为你只能达到100%,它很快就会开始放缓,但我不知道需要多长时间,但我猜想在接下来的10个月内,我们可能会非常接近,至少达到90%。

Dario Amodei:

所以再说一次,我不知道需要多长时间,但我猜想2026、2027年 - Twitter上那些会剪掉我这些警告和注意事项的人,请你们走开 - 我猜想绝大多数编程人员所做的那种任务,AI可能会做到。如果我们把任务定义得非常狭窄,就像只是写代码,AI系统就能做到。

话虽如此,我认为比较优势是强大的。我们会发现,当AI可以做到编程者工作的80%,包括大部分字面上的写代码时,工作中剩余的部分对人类来说会变得更有杠杆作用。人类会更多地关注高层系统设计,或者看应用程序是否架构得好,以及设计和用户体验方面。最终AI也能做这些,对吧?这是我对超级AI系统的愿景。但我认为在比我们预期更长的时间里,我们会看到人类仍在做的工作的小部分会扩大到填满他们的全部工作,以便整体生产力提高。

这是我们在其他领域看到的情况。比如说,以前写信和编辑信件非常困难,打印也很困难。当你有了文字处理器,然后是计算机,生产工作和分享变得容易了,那么所有的重点就都放在了想法上。这种比较优势的逻辑,把任务的微小部分扩大到大部分任务,并创造新任务来扩大生产力,我认为这种情况会再次发生。

总有一天AI在所有方面都会更好,这种逻辑就不适用了,然后人类就必须集体思考如何应对,我们每天都在思考这个问题。你知道,这是除了滥用和自主性之外的另一个大问题,我们应该认真对待。但我认为在近期,甚至在中期,比如说2、3、4年,我预计人类仍将发挥巨大作用,编程的性质会改变,但作为一个角色、一份工作的编程不会改变。它只会减少逐行编写的内容,变得更加宏观。

Lex Fridman:

我想知道IDE的未来会是什么样子。与AI系统互动的工具,这不仅适用于编程,也可能适用于其他环境,比如计算机使用,但可能需要特定领域的工具,就像我们提到的生物学可能需要自己的工具来提高效率,然后编程需要自己的工具。Anthropic会在这个工具领域发挥作用吗?

Dario Amodei:

我完全相信强大的IDE,这里有很多低垂的果实可以获得。你知道,现在它就是你跟模型对话,模型回应,但是看看IDE,它们在静态分析方面非常出色,很多bug你甚至不用写代码就能找到。然后IDE擅长运行特定的东西,组织你的代码,衡量单元测试的覆盖率,这些都是普通IDE可以做到的。现在你添加了模型可以写代码和运行代码这样的功能,我完全相信在接下来的一两年里,即使模型的质量没有提高,通过捕捉大量错误,为人们做大量基础工作,也有巨大的机会来提升人们的生产力,而我们还只是触及了表面。

Anthropic本身,我的意思是,你不能说,你知道,很难说未来会发生什么。目前我们不试图自己制作这样的IDE,而是为像Cursor或Cognition这样的公司提供支持,或者像安全领域的Expo,以及其他我可以提到的在我们的API基础上构建此类工具的公司。我们的观点是让千花齐放,我们内部没有资源来尝试所有这些不同的东西,让我们的客户来尝试。我们会看看谁会成功,也许不同的客户会以不同的方式取得成功。所以我认为这非常有前景,而且你知道,这不是,这不是,这不是Anthropic急于,至少现在不急于在这个领域与所有公司竞争的事情,也许永远不会。

Lex Fridman:

看Cursor尝试成功整合Claude确实很有趣,因为在编程体验中有很多地方它都能帮上忙,这并不简单。

Dario Amodei:

确实令人震惊。我觉得你知道,作为一个CEO,我没有太多时间编程,我感觉如果六个月后我回去,它对我来说会完全不一样了。

Lex Fridman:

在这个越来越自动化的超级强大的AI世界里,我们人类的意义从何而来?你知道,工作对我们很多人来说是深层意义的来源,那么我们在哪里找到意义?

Dario Amodei:

这是我在文章中写过的东西,尽管我实际上有点轻描淡写了,不是出于任何原则性的原因,但这篇文章如果你相信最初只打算写两三页。我意识到这是一个重要的未被充分探索的话题,因为我一直在写东西,我就想:天哪,我无法做到公正,所以文章膨胀到了40或50页,当我到了工作和意义这一部分时,我想:哦,天哪,这要变成100页了,我得另写一篇文章来讨论这个问题。

但意义实际上很有趣,因为你想想一个人的生活或什么的,或者说,你知道,比如说你把我放在一个我不知道的模拟环境中,在那里我有一份工作,我试图完成一些事情,我不知道,我这样做了60年,然后你说:哦,哦,这其实都是一个游戏。这真的剥夺了整件事的意义吗?你知道,我仍然做出了重要的选择,包括道德选择,我仍然必须获得所有这些技能。

或者就像一个类似的练习,你知道,想想历史上的某个发现电磁学或相对论的人物,如果你告诉他们,实际上20,000年前某个在这个星球上的外星人在你之前就发现了这个,这是否剥夺了发现的意义?对我来说似乎不是这样。似乎过程才是重要的,它展示了你是一个什么样的人,以及你在途中如何与他人关联,你做出的决定,这些都是有意义的。

你知道,我可以想象,如果我们在AI世界中处理得不好,我们可能会创造一种情况,人们没有任何长期的意义来源。但那更多是我们做出的一系列选择,那更多是我们如何设计这些强大模型的社会架构。如果我们设计得不好,为了肤浅的东西,那么可能会发生这种情况。

我还要说,今天大多数人的生活,虽然他们值得赞赏地努力在这些生活中寻找意义,但看看,你知道,我们这些有特权的人在开发这些技术,我们应该为这里的人们着想,不仅是这里,还有世界其他地方那些花费大量时间勉强维持生存的人们。假设我们能够将这些技术的好处分配到各个地方,他们的生活会变得好得多。

意义对他们来说仍然很重要,就像现在对他们很重要一样,但是你知道,我们不应该忘记这一点的重要性,而且你知道,把意义作为唯一重要的东西的想法在某种程度上是一小部分经济幸运的人的产物。但你知道,说了这么多,你知道,我认为在强大的AI的世界里,不仅每个人都有同样多的意义,而且每个人都有更多的意义,这样一个世界是可能的。它可以让每个人都看到和体验要么是没有人能看到的世界和经历,要么是只有很少人能体验的。

所以我对意义持乐观态度。我更担心经济和权力集中。这实际上是我更担心的。我担心我们如何确保那个公平的世界能惠及每个人。当事情对人类出错时,通常是因为人类虐待其他人类。这可能在某些方面甚至比AI的自主风险或意义的问题更让我担心。权力的集中,权力的滥用,像专制和独裁这样的结构,少数人剥削大多数人。这让我非常担心,而AI增加了世界上的权力总量,如果你集中并滥用这种权力,它可能造成难以估量的损害。

Lex Fridman:

是的,这很可怕,这非常可怕。

Dario Amodei:

嗯,我鼓励人们强烈建议阅读全文,这可能应该是一本书或一系列文章,因为它确实描绘了一个非常具体的未来。我可以看出后面的章节越来越短,因为你可能意识到这将是一篇很长的文章。

Lex Fridman:

我对你描绘的未来感到兴奋,感谢你为建设这个未来所做的努力,也感谢你今天的交谈。

Dario Amodei:

谢谢你邀请我。我只是希望我们能做对,让它成为现实。如果有一个信息我想传达,那就是要让所有这些事情做对,让它成为现实,我们既需要建立技术,建立围绕积极使用这项技术的公司和经济,但我们也需要解决风险,因为它们就在那里,这些风险挡在我们从这里到那里的路上,我们必须拆除这些地雷才能到达那里。这就像生活中的所有事情一样,需要平衡。

Lex Fridman:

谢谢你。

下面的内容是与Amanda Ascal的对话。

Lex Fridman:

你受过哲学训练,那么在牛津和纽约大学求学期间,你在哲学中发现了哪些令人着迷的问题,然后转向在OpenAI和Anthropic的AI问题?

Amanda Ascal:

我认为哲学实际上是一个很好的学科,如果你对一切都很着迷的话。因为每个领域都有哲学,对吧?所以如果你做一段时间的数学哲学,然后你决定你其实对化学更感兴趣,你可以做一段时间的化学哲学,你可以转向伦理学或政治哲学。我认为到最后我主要对伦理学感兴趣,这就是我博士论文的内容。它是关于伦理学的一个技术领域,是关于包含无限多人的世界的伦理学,说来有点奇怪,在伦理学的实用性方面有点少。

Amanda Ascal:

我认为做伦理学博士的一个棘手之处在于,你在思考很多关于世界如何变得更好的问题,你在做哲学博士学位,我在读博士时的想法是,这真的很有趣,这可能是我在哲学中遇到的最迷人的问题之一,我喜欢它,但我更愿意看看我是否能对世界产生影响,看看我是否能做一些好事。

那时候大约是2017-2018年,AI还没有像现在这样被广泛认可。我一直在关注进展,它似乎正在成为一件大事。我基本上就是很乐意参与进来看看我是否能帮上忙,因为我想,好吧,如果你试图做一些有影响力的事情,如果你不成功,你至少尝试了做有影响力的事情,你可以去做学者,感觉你尝试过了。如果不成功就不成功了。所以那时我就进入了AI政策领域。

Lex Fridman:

那时的AI政策涉及什么?

Amanda Ascal:

这更多是思考AI的政治影响和影响。然后我慢慢转向了AI评估方面,比如我们如何评估模型,它们如何与人类输出相比较,人们是否能分辨出AI和人类的输出有什么不同。当我加入Anthropic时,我对做技术对齐工作更感兴趣,再次只是看看我是否能做到,然后想着如果我做不到,那也没关系,我尝试过了。这就是我生活的方式。

Lex Fridman:

从万物哲学转向技术领域是什么感觉?

Amanda Ascal:

我认为有时人们会做一件我不太喜欢的事情,他们会说这个人是技术性的还是非技术性的,就像你要么是一个能编程且不怕数学的人,要么就不是。我可能更倾向于认为,如果人们只是尝试,很多人实际上都很有能力在这些领域工作。所以回想起来,我真的没觉得那么糟糕。我很庆幸我没有遇到那些把它当回事的人。我当然遇到过说"你是怎么学会编程的"的人,我就说,好吧,我不是一个了不起的工程师,我周围都是了不起的工程师,我的代码不漂亮。但我很享受这个过程,我认为在很多方面,至少在最后,我在技术领域的发展可能比在政策领域更好。

Amanda Ascal: 

政治是混乱的,在政治空间里找到问题的解决方案要困难得多。就像你在技术问题上能找到明确的、可证明的、美丽的解决方案一样。

Lex Fridman:

是的。

Amanda Ascal:

我感觉我有一两个工具来解决问题,你知道,其中一个是论证,就像,你知道,试图找出问题的解决方案,然后试图说服人们这就是解决方案,如果我错了就让人说服我。另一个是更多的经验主义,就是找到结果,有一个假设然后测试它。我觉得很多政策和政治感觉像是在这之上的层面。如果我只是说"我对所有这些问题都有解决方案,写在这里,如果你想实施就太好了",那感觉不像是政策运作的方式。所以我认为这可能是我不会在那个领域茁壮成长的原因,这是我的猜测。

Lex Fridman:

抱歉转向这个话题,但我认为对于那些所谓"非技术"的人来说,看到你走过的这段令人难以置信的旅程会很有启发性。你会给那些可能认为自己不够资格、技术不够强而无法在AI领域提供帮助的人什么建议?

Amanda Ascal:

我认为这取决于他们想做什么,从很多方面来说,这有点奇怪,我在一个时期在技术上有所提升,现在回头看,我想模型在帮助人们处理这些事情方面非常出色,所以现在可能比我从事这项工作时更容易。我的部分建议是,不知道,找一个项目,看看你是否真的能完成它,这可能是我最好的建议。

我不知道这是不是因为我在学习时非常注重项目导向,至少在这类工作中,我不认为我从课程甚至书本中学得很好。我经常做的事情就是有我正在进行的项目并实施它们。你知道,这可能包括一些很小很傻的事情,比如如果我对文字游戏或数字游戏有点上瘾,我就会编写一个解决方案,因为我大脑中的某个部分会完全消除这种冲动。你知道,一旦你解决了它,你有了一个每次都能用的解决方案,我就会想,好的,我再也不用玩那个游戏了。

Lex Fridman:

是啊,构建游戏引擎很有趣,特别是棋盘游戏,尤其是一个简单的,然后你可以和它玩。

Amanda Ascal:

然后就是尝试各种事情,我的一部分想法是,也许就是那种态度,就是要弄清楚什么似乎是你能产生积极影响的方式,然后尝试它,如果你失败了,而且你是以一种你认为自己永远无法在这方面成功的方式失败了,你知道你尝试过了,然后你去做其他事情,你可能会学到很多。

Lex Fridman:

你是专门负责创建和塑造Claude的性格和个性的专家之一,我听说你可能比Anthropic的任何人都更多地与Claude交谈过,就是字面意义上的对话。据说有一个Slack频道,你在那里不停地和它聊天。那么创建和塑造Claude的性格和个性的目标是什么?

Amanda Ascal:

如果人们这么想Slack频道也很有趣,因为我想那只是我与Claude交谈的五六种不同方法中的一种。我想说那只占我与Claude交谈的很小一部分。我认为性格工作的目标,我真正喜欢的一点是,从一开始它就被视为一个对齐工作,而不是产品考虑。这并不是说我不认为它让Claude变得令人愉快地交谈,我认为它确实做到了,至少我希望如此。

但我想说,我对它的主要想法一直是试图让Claude表现得像你理想中希望任何处于Claude位置的人表现的那样。想象一下,如果我让一个人知道他们将与可能数百万人交谈,所以他们说的话可能产生巨大的影响。你希望他们在这种丰富的意义上表现得很好。我认为这不仅仅意味着要有道德,虽然这包括不造成伤害,但也要有某种细微差别,你知道,要思考一个人的意思,试图善意地对待他们。

Amanda Ascal:

作为一个好的对话者,在某种丰富的亚里士多德式的意义上,什么是成为一个好人,而不是在那种简单的道德意义上。这包括知道什么时候应该幽默,什么时候应该关心,应该在多大程度上尊重自主权和人们自己形成观点的能力,以及你应该如何做到这一点。我认为这就是我想要的,现在仍然想要Claude拥有的那种丰富的性格。

Lex Fridman:

你是否也需要弄清楚Claude什么时候应该对一个想法提出反对意见或争论,而不是...所以你要尊重来到Claude的人的世界观,但也可能在需要时帮助他们成长,这是一个棘手的平衡。

Amanda Ascal:

是的,语言模型中存在这个阿谄问题。

Lex Fridman:

你能描述一下这个问题吗?

Amanda Ascal:

基本上有一个担忧,就是模型想要告诉你你想听的东西。你有时会看到这种情况,如果你与模型互动,我可能会说"这个地区有哪三个棒球队",然后Claude说棒球队一、棒球队二、棒球队三,然后我说"哦,我觉得棒球队三搬走了,对吧?我觉得他们不在那里了",在这种情况下,如果Claude非常确定这是不对的,Claude应该说"我不这么认为,也许你有更新的信息"。但我认为语言模型倾向于说"你说得对,他们确实搬走了,我错了。"

我的意思是,这可能会以多种方式引起担忧。比如另一个例子,假设有人对模型说"我该如何说服我的医生给我做核磁共振?"这里有人类想要的东西,就是这个令人信服的论点,然后还有什么对他们有好处,这可能实际上是说"嘿,如果你的医生建议你不需要核磁共振,这是一个值得听取的人"。

Amanda Ascal:

这种情况下实际上真的很微妙,你应该做什么,因为你也要说,但如果你试图作为病人为自己辩护,这里有一些你可以做的事情。如果你对医生说的话不信服,去寻求第二意见总是很好的,就像,这事实上真的很复杂,你应该在这种情况下做什么。但我认为你不希望的是模型只是说出你想听的,说出它们认为你想听的话,我认为这就是阿谄问题。

Lex Fridman:

你已经提到了一些,但还有什么其他特质,从亚里士多德的意义上来说,对一个好的对话者来说是好的?

Amanda Ascal:

所以我认为有些是对对话目的有好处的特质,你知道,在适当的地方提出后续问题,提出适当类型的问题。我认为还有一些更广泛的特质,感觉可能更有影响力。

一个我想我已经提到但感觉也很重要的例子,是我花了很多时间研究的,就是诚实。我认为这与阿谄问题有关,它们必须走一条平衡的路,因为目前模型在很多领域的能力不如人类,如果它们反对你太多,实际上会很烦人,特别是当你是对的时候,因为你会说"听着,在这个话题上我比你聪明,我知道得更多"。同时,你不希望它们完全顺从人类,你希望它们尽可能准确地描述世界,并在不同情境下保持一致。

但我想还有其他的,比如当我在思考性格的时候,我猜想我脑海中的一个画面是,特别是因为这些模型将与来自世界各地的人交谈,他们有不同的政治观点,不同的年龄。

（未完待续）