👇关注公众号后设🌟标，掌握第一手AI新动态
本文访谈内容整理自吴恩达在台湾“前瞻AI AGENTS”论坛演讲，公开发表于2024年11月15日。原始内容参考：https://www.youtube.com/watch?v=B3ZaTU0Zn4M
吴恩达在台湾“前瞻AI AGENTS”论坛演讲
★内容导读：
吴恩达在本次演讲中主要表达了以下观点：
AI代理是目前最重要的AI技术: 吴恩达认为AI代理（Agentic AI）是AI领域最值得关注的技术，其应用层将比底层技术（例如芯片、云计算、基础模型）更具价值，带来更多商业机会。 AI代理的工作流程比传统的LLM交互方式更高效: 通过迭代式的AI代理工作流程（例如：先写提纲，再进行网络搜索，再写初稿，再修改），可以显著提高AI模型的输出质量，其提升程度甚至超过了模型本身的迭代升级。吴恩达解释了多种AI代理的设计模式，包括反思模式、多代理输出、工具使用、规划和多代理协作。 AI技术栈的演变：协调层的兴起: 传统的AI技术栈中增加了协调层（例如Langchain/Langgraph），用于协调多个基础模型和功能调用，使得AI应用开发更加高效，进一步突显了应用层的重要性。 五大值得关注的AI发展趋势:
更快的芯片： 满足AI代理对高吞吐量文本处理的需求。 AI原型开发效率提升： 基于提示的AI使得原型开发时间从几个月缩短到几天，促进企业快速创新。 图像处理革命： 图像处理技术快速发展，将催生大量视觉AI应用。 数据重力减弱： 由于计算成本远高于数据传输成本，数据迁移变得更容易，打破了数据中心化的限制。 非结构化数据工程的兴起： 企业需要改进数据工程流程，以更好地处理文本、图像和音频等非结构化数据。 AI对高薪工作的影响及应对策略: 当前AI自动化对高薪知识工作的影响越来越大，但并非完全取代。企业应该专注于利用AI提高知识工作的效率，而非简单地自动化整个工作岗位。吴恩达介绍了一种基于任务分解的AI项目头脑风暴方法，帮助企业识别并优先处理可行的AI项目。 AI基金的投资模式和企业合作方法: 吴恩达介绍了AI基金的投资模式，即与企业合作，验证市场和技术可行性，然后招募CEO，快速开发原型，再进行投资。这种模式成功地应用于航运领域，带来了显著的节能减排效益。 AI治理的重点在于应用而非技术: AI治理应侧重于AI应用的安全性和可靠性，而非对底层AI模型本身进行过度监管。支持开源AI模型对技术发展至关重要。
吴恩达简介
吴恩达（Andrew Ng）是人工智能和机器学习领域的国际权威学者、教育家和企业家。他出生于英国，成长于香港和新加坡，拥有卡内基梅隆大学的计算机科学学士学位、麻省理工学院的电子工程硕士学位和加州大学伯克利分校的计算机科学博士学位。
吴恩达是斯坦福大学计算机科学系和电子工程系的兼职教授，曾领导谷歌大脑项目，并担任百度首席科学家。他创立了在线教育平台Coursera和deeplearning.ai，致力于将人工智能教育普及化，让数百万人受益于他的机器学习课程。
他的研究领域涵盖深度学习、强化学习和机器人技术。在谷歌大脑项目中，他带领团队开发了能够识别猫的“谷歌大脑”，这是深度学习领域的里程碑事件。 他还积极推动人工智能在医疗、教育等领域的应用。
吴恩达以其深入浅出的教学风格和对人工智能的深刻理解而闻名，被誉为“人工智能的普及者”，他对人工智能的推广和教育做出了杰出贡献。
演讲全文
吴恩达： 我很高兴有机会回到台湾与大家分享。如果今天要我关注一项我认为最重要的人工智能技术，我认为那就是人工智能代理。我希望与大家分享我对技术领域的看法，以及为什么我认为这一点很重要。
你们可能听我说过，我认为人工智能是新时代的电力。它是一种具有广泛应用的通用技术。在台湾和世界各地，我们还有很多工作要做，去寻找我们可以应用这项奇妙的新技术的领域。人工智能有很多炒作和兴奋，人们经常问我最大的机会在哪里。
这就是我认为的人工智能技术栈。在最底层是半导体层，通常是在台湾制造的。在其之上是云层，在其之上是基础模型。每当出现像人工智能这样新的技术浪潮时，很多直接的兴趣和关注都集中在这些技术层上，这很好，没有什么错。
然而，几乎可以肯定的是，为了使技术层取得成功，必须存在另一层能够表现得更好的层：应用层。我们需要应用来产生更多收入，才能负担得起底层技术。因此，尽管媒体的关注和兴奋主要集中在基础模型和其他技术层上，但我相信应用层需要更加出色。
对于台湾的许多企业来说，最好的机会将是专注于构建现在可能实现的应用。在应用方面，只是为了好玩，我今天早上做了这个。
我认为，一件被低估的事情是，我们经常谈论人工智能如何提高我们的生产力。这是真的，我们稍后会详细讨论。然而，我发现人工智能也让我的生活更有趣了，也许这也很重要。所以我认为这次会议的主题是人工智能代理工作流程，我想与大家分享为什么我认为这是一个如此重要的技术趋势。事实证明，我们今天使用大多数大型语言模型（如ChatGPT、Gemini或Claude Anthropic）的方式是：访问它们，输入提示，并要求它们为我们编写回复。这种方法有点像去找一个人，或者在这种情况下，去找一个人工智能，并要求它写一篇论文，从第一个字到最后一个字一次性全部打出来，而不用退格键。我个人不赞成这种写作方式；然而，尽管被迫从头到尾逐字写作很困难，但人工智能的表现却非常出色。
但事实证明，使用代理工作流程，我们可以让人工智能表现得更好。例如，你可以要求人工智能首先写一篇论文提纲。然后，你可以让它考虑是否需要进行网络搜索。如果是这样，你可以让它上网获取一些网页，并将这些信息包含在人工智能模型的输入上下文中，然后再写第一稿。之后，你可以让它阅读第一稿，看看它是否有改进的建议。这个迭代工作流程更像是一个循环，你让AI进行思考，修改它的工作，再次思考，并重复这个过程几次。这将产生明显更好的输出。
今年早些时候，我的团队从一个AI基准测试（一个代码基准测试）中收集了一些数据，该测试评估AI编写代码解决小型编码难题的能力。例如，在这个评估指标上，GPT 3.5的成功率为48%。GPT 4则好得多，成功率为67%。因此，GPT 4明显优于GPT 3.5，这并不令人惊讶。然而，从GPT 3.5到GPT 4的改进远小于使用GPT 3.5的迭代代理工作流程所看到的改进。事实上，使用迭代代理工作流程的GPT 4表现更好。实施代理工作流程所取得的改进大于从一代模型到下一代模型的改进。
通常情况下，我不会在这样的演示文稿中深入探讨技术细节。但是，鉴于这次会议的主题是人工智能代理，我认为应该花几张幻灯片来解释并揭开这些人工智能代理的工作原理。作为开发者，我们有多种设计模式来编程代理。
最基本但最重要的设计模式之一是反射（Reflection）设计模式。如果我想用人工智能来编写代码，我可能会编写一个提示，要求人工智能为特定任务编写代码，它将生成一些代码。然后，我可以将该代码显示给人工智能，并要求它阅读和评论该代码，并提出改进方法。这被称为反射工作流程，我们要求人工智能检查其输出，看看是否可以改进它。有时，人工智能确实会发现问题，如果它发现了问题，我可能会说：“很好，请根据你刚才发现的问题改进代码。”如果你重复几次这个方法，你很可能会得到更好的输出。
这并不是魔法；虽然它不能发现所有问题或确保一切都能 100% 工作，但它仍然比没有反射工作流程更有效。在考虑如何构建代理人工智能系统时，另一种常见的设计模式是多代理输出。在这种情况下，我们可能会提示大型语言模型 (LLM) 执行不同的角色，其中一个代理负责编写代码，另一个代理负责评论代码。这为 LLM 创建两个相互对话的人工智能代理奠定了基础，最终产生更好的工作输出。我发现，当人们真正看到它是如何详细运作时，它往往比看起来神秘得多。
就代理人工智能设计模式而言，人工智能模型中越来越普遍的另一个能力是工具使用或函数调用。此功能允许人工智能系统执行诸如进行网络搜索、执行代码、通过 API 发出退款或从日历中提取数据等操作。人工智能代理调用其他函数的能力极大地扩展了人工智能模型能够完成的任务。
代理工作流程的另一个关键能力是规划。当给定复杂的指令（例如，生成一个女孩看书的图像，姿势与一个男孩相同）时，人工智能可以规划完成任务所需的步骤序列。这可能包括确定姿势、生成图片以及使用文本转语音或图像转文本处理。人工智能不仅可以执行一项操作，还可以规划出一系列操作来有效地执行复杂的任务。
最后，是多智能体协作的趋势。越来越多的团队选择部署多个AI智能体，而不是依赖单个智能体。我的朋友乔·莫罗（Joe Moro）经常谈论采用管理者的思维模式。如果您是一位经理，正在考虑雇用三到四个人来完成一项任务——例如编写代码或设计营销活动——为什么不建立三个或四个AI智能体一起工作呢？这种方法似乎是使用AI系统完成任务的有效设计模式。有了这些设计模式，AI构建者可以使用更丰富的工具来创建比以往任何时候都更复杂的AI工作流程。
为了提供AI堆栈的最新视角，这是我之前展示的图片。我们正在见证一个协调基础模型的编排层的出现。在过去的一年里，这个编排层——由旨在链接众多函数调用的软件组成——变得越来越智能化。你们中的一些人可能听说过Langchain，这是一个大约两年前开始开发的流行编排层。Langchain正在发展成为Langgraph，许多编排层正在变得更智能化。这种变化不仅简化了应用程序的开发，而且也支持了我之前的观点：堆栈中最有价值的部分——几乎是定义上的——应该是应用程序层。
我的deeplearning.ai团队很幸运能够参与的一个项目是与全球几乎所有领先的生成式AI公司合作创建在线AI课程——通常是免费的。随着这些工具的改进，我们与工具构建者一起工作并教育他人开发AI应用程序的能力也在增强。这有望使更多开发人员能够利用这些进步。
基于AI智能化技术的趋势，必须注意的是，AI是一个广泛的领域，有许多发展。一个值得关注的趋势是智能化AI，但还有其他一些重要的趋势正在展开。我想分享五个我认为最重要的其他AI趋势。第一个是围绕半导体的。智能化工作流程会消耗大量的token，这意味着它们需要大量读取和输出文本，因为它们参与了迭代工作流程。因此，对更快、更经济的token生成的需求越来越大。许多初创公司正在创建旨在快速有效地生成token的新型半导体芯片。以前，AI模型几乎没有理由比人类阅读速度更快地生成文本。但是，我的团队为其构建AI工作负载的任务可能需要20分钟才能完成内部交互。通过更快的token生成，这20分钟可以减少到5分钟，这增加了显著的价值。
影响许多企业的另一个趋势是，生成式AI能够高效地创建AI原型，从而改变了企业创新流程。过去，传统的AI开发方法包括收集数据、训练AI模型和部署它，这可能需要六到十二个月。我们利用这种方法成功构建了各种有价值的AI系统。但是，通过利用基于提示的AI，我们现在可以编写一个提示并将其部署，从而允许在十天内交付原型——比以前所需的六个月快得多。构建和部署原型的经济性使组织能够实施许多想法并测试其可行性。
尽管软件开发过程中的一个步骤效率提高了，但其他步骤仍然需要大量时间。新的流程正在重塑许多公司优先考虑创新的方式。“快速失败”的概念已经获得了负面含义，但在AI原型设计中快速失败的能力现在得到了显著增强，从根本上改变了公司对创新的方法。“快速行动，打破常规”的口号因为鲁莽而声名狼藉，但我认为我们仍然应该在保持责任的同时拥抱速度。对于企业和初创企业的创新团队来说，有很多途径可以快速构建原型，进行测试，并以负责任的方式进行。
一个可能并不显而易见的事情是，虽然我们已经看到了文本处理革命，但图像处理革命即将到来，准备创建许多新的视觉AI应用程序。这一趋势将对制造业、自动驾驶技术、安全应用等产生重大影响。我所说的“图像处理”是指图像分析和理解图像内容——不仅仅是图像生成，尽管图像生成也很有价值。虽然图像处理技术不如文本理解先进，但它正在迅速改进。事实上，我的团队已经开始开发智能化视觉AI工作流程。例如，我们创建了旨在分析图像的视觉智能体，这将解锁许多新的应用程序。许多人可能在云存储中存储了大量图片或视频，却没有办法从中获得价值。然而，企业正越来越多地开发分析图像和视频的能力，从而激发新的应用程序开发。
影响开发人员的另一个趋势是数据重力概念正在减弱。在技术领域，“数据重力”指的是一旦数据存储在云中，将其转移到其他地方进行处理就会变得具有挑战性。传统上，避免将大量数据（例如1TB）从一个云转移到另一个云。然而，对于生成式AI，所涉及的计算非常密集，以至于数据传输的成本与处理成本相比已变得微不足道。例如，传输1GB的数据可能花费大约10美元，而使用GPT-4等模型处理相同的1GB数据可能花费30美元或40美元。因此，传输成本远小于处理成本，导致跨互联网发送数据包的AI工作负载增加。与其仅仅依赖一个云，不如将数据包有效地处理在其他地方，这为企业和初创公司创造了新的机遇。
最后，数据工程一直对帮助组织采用AI发挥着至关重要的作用。但是，我观察到一些大型企业正在重新思考他们的数据工程流程，尤其是在管理非结构化数据方面，其中包括文本、图像和潜在的音频。传统上，数据工程主要关注结构化数据，例如数字表格，因为许多AI应用程序都从中获得了价值。但是，随着AI理解文本、图像和音频能力的提高，越来越需要增强数据工程，以帮助公司满足这些非结构化数据的需求。因此，许多大型企业正在进行重大的企业数据重新设计工作，使其更适合这些新功能。
总之，这五个趋势中的选择可能与台湾的许多企业相关。但是，无论是台湾还是全球都在发生很多事情。我投入大量思考的一个领域是企业创新。我对初创企业和创业充满热情，但重要的是要支持大型企业采用AI，因为这将有助于推动台湾及其他地区的经济增长。我从宾夕法尼亚大学的一些同事及其合作者那里审查的一篇研究论文展示了一个图表，该图表将不同角色的工资与AI自动化接触程度绘制在一起。这张图中一个有趣的观察结果是，高薪工作越来越容易受到当前AI自动化浪潮的影响，这与以往低工资、重复性工作更容易实现自动化的情况形成对比。对于这一代AI来说，主要面临更大自动化风险的是知识型工作。也就是说，值得注意的是，上面提到的曲线确实会逐渐变平缓，所以我相信在座各位的工作相对安全。
知识工作领域也存在大量提升效率的机会。AI Fund一直致力于与合作伙伴合作，进行创新并扶持初创企业。我想与大家分享一个我们使用的、效果良好的流程，希望对你们也有一定的启发。在AI Fund，我们一直与众多合作伙伴交流，探索人工智能领域的各种想法。举个例子，几年前，三井物产找到我，说：“安德鲁，AI Fund应该利用人工智能分析全球航运、天气和洋流数据，优化船舶航行，提高燃油效率。” 这便催生了Bearing AI。我们的做法是：审视一个想法，验证其市场需求和技术可行性，然后招募一位CEO或驻场创始人与我们一起建立一家初创公司。在这个案例中，我们招募了Dylan Keil，一位有过一次成功创业退出的连续创业者，担任该项目的CEO。
我们通常会与CEO合作三个月，打造一个初步的技术原型。我分享这个例子，是因为我希望在台湾也能开展更多类似的项目。如果在完成技术原型后，公司前景依然看好，我们就会向初创公司投资一百万美元，而且这笔投资通常会持续投入。在这个具体的例子中，Dylan、三井物产和我们最终建立了一家公司，现在运营着超过600艘远洋船舶。每艘船每年大约可以节省50万美元的燃油费用，并减少10%的二氧化碳排放。作为一名人工智能专家，我发现自己并没有资格涉足海运业——我对船舶了解多少呢？往往是当我们将AI团队（如AI Fund）的专业知识与特定行业领域的深厚专业知识相结合时，才能发现新的机遇并更有效地构建项目。
我的AI Fund团队花费大量时间思考如何帮助大型企业识别和抓住人工智能带来的机遇。我想简要地与大家分享一个行之有效的方案。首先是关于人工智能技术的管理层简报。让管理层对人工智能的工作原理有一个非技术性的理解，有助于他们发现机遇。去年Coursera上增长最快的课程是DeepLearning.ai提供的“人人皆可用的生成式人工智能”课程。这类资源有助于管理层掌握人工智能的商业层面的知识。之后，团队可以头脑风暴人工智能项目。我们发现，每个我们接触的团队都有很多想法。
此外，我们发现了一种特别有用的头脑风暴人工智能项目的方法，即基于任务的工作分析。人们常常认为人工智能会自动化工作，这涉及到劳工、就业和社会问题，这对政府和社会来说是一个重要的议题。然而，从商业分析的角度来看，我认为将人工智能视为自动化任务而非整个工作更为实用。工作包含许多不同的任务，我们将公司员工的工作分解成单个任务，然后看看哪些任务适合人工智能自动化。这种方法是由我的朋友、斯坦福大学的埃里·布林约尔松(Eri Brynjolfsen)首创的。
举例说明，呼叫中心里的客户服务代表正受到人工智能的显著影响。他们执行许多不同的任务，其中一些任务具有很高的AI自动化潜力，而另一些则潜力较小。当我们帮助企业合作伙伴进行这项分析时，我们经常会发现一些意想不到的见解。通过系统分析发现的最大机遇可能并非我们最初猜测的那样。这个过程有助于引导公司寻找潜在解决方案的方向。虽然这看起来像是通过识别要自动化的任务来节省成本的一种方法，但我们经常发现，当我们大幅降低一项任务的成本时，许多企业会选择更频繁地执行该任务。因此，这往往不仅能节省成本，还能带来增长机遇。
在头脑风暴多个想法之后，对项目可行性的系统性尽职调查将有助于确定优先级。大多数企业随后都会面临“自主研发还是购买”的抉择。我们经常建议：“如果可以从别人那里购买解决方案，那就这么做。如果没必要，为什么要自己研发呢？”然而，由于人工智能技术仍然比较新，我们发现许多所需的解决方案尚未被开发出来。这就导致了“自主研发还是投资”的抉择。在三井物产和航运的例子中，有趣的是，他们不想承担招聘和管理AI团队来进行船舶优化的责任。他们运营着许多大型船舶，但更倾向于利用初创公司来避免这种负担，从而在节省燃油费用的同时，避免相关的成本和管理问题。
这种流程通常有助于高效地建立初创企业。公司可以获得技术的好处，而无需为整个运营提供资金并承担责任。从长远来看，全球人工智能领域仍有许多工作要做，我很渴望在台湾开展更多这方面的工作。我认为台湾的初创企业和大型企业都有很多机会。
在我结束之前，我想分享一下我对人工智能治理的看法。当我与全球政府以及董事会和高管交谈时，一个常见的问题是：我们应该如何从监管和公司治理的角度来治理人工智能？在人工智能治理的背景下，区分技术和应用非常重要。例如，电动机是一种技术，可用于各种应用，例如搅拌机、电动汽车，甚至是制导炸弹。有些应用是可取的，而另一些则可能需要更加谨慎。
技术是指可以多种方式应用的工具，而应用则是解决特定客户需求的具体实现。人工智能模型，例如大型模型，也是可以应用于众多应用的技术。与人工智能相关的风险更多地取决于应用，而不是技术本身。例如，如果有人将人工智能应用于医疗设备，我们就会知道我们在安全方面想要什么和不想要什么。责任主要应该由医疗设备制造商承担，而不是人工智能模型的创建者，因为后者对技术的后续使用控制有限。
有趣的是，在过去一年半的时间里，美国和欧洲的大型科技公司进行了激烈的游说活动，旨在规范人工智能模型，特别是以影响开源倡议的方式。幸运的是，这些大型公司设法避免了最糟糕的法规。然而，如果他们成功地扼杀了这项技术并阻止了开源模型，那将是灾难性的；许多地方将无法获得最先进的人工智能技术。在台湾，开源模型的存在对于获取先进人工智能创新至关重要。
抵制反开源法规符合台湾的利益，也符合世界许多其他国家的利益。我对台湾持续致力于这一事业印象深刻，我希望这种态势能够继续下去。我们将与你们中的许多人合作，开展更多工作，希望能帮助台湾经济增长。所以，非常高兴能回到这里。真的，谢谢你们的邀请。
参考资料: https://www.youtube.com/watch?v=B3ZaTU0Zn4M，公开发表于2024-11-15
👇关注公众号后设🌟标，掌握第一手AI新动态
