深度|外媒评价OpenAI o1:被设计得过度思考的AI

文摘   2024-09-15 09:30   泰国  

图片来源:OpenAI

OpenAI 在周四发布了其新的 o1 模型,让 ChatGPT 用户首次有机会尝试在回答之前“思考”的 AI 模型。在这些代号为“草莓”的模型发布之前,已经有很多炒作。但草莓真的配得上这些炒作吗?

有点儿。

与 GPT-4o 相比,o1 模型感觉像是向前迈了一步却又退了两步。OpenAI 的 o1 在推理和回答复杂问题方面表现出色,但使用该模型的成本大约是 GPT-4o 的四倍。OpenAI 最新的模型缺乏使 GPT-4o 如此令人印象深刻的工具、多模态能力和速度。事实上,OpenAI 甚至在其帮助页面上承认“GPT-4o 仍然是大多数提示的最佳选择”,并在其他地方指出 o1 在简单任务上表现不佳。

“这很令人印象深刻,但我认为改进并不是很显著,”纽约大学研究人工智能模型的教授拉维德·施瓦茨·齐夫说。“在某些问题上表现更好,但并没有普遍的改进。”

出于所有这些原因,重要的是仅在 o1 真正设计用来帮助解决的问题上使用它:重大问题。明确来说,目前大多数人并没有使用生成性人工智能来回答这些类型的问题,主要是因为今天的人工智能模型在这方面表现得并不好。然而,o1 是朝着这个方向迈出的一个初步步骤。

复杂思考

OpenAI o1 的独特之处在于它在回答之前会“思考”,将大问题分解为小步骤,并尝试识别何时正确或错误地完成其中一个步骤。这种“多步骤推理”并不是全新的(研究人员已经提出了多年,而 You.com 在复杂查询中使用它),但直到最近才变得实用。

“人工智能社区充满了兴奋,”Workera 首席执行官、斯坦福大学兼职讲师基安·卡坦福鲁什在一次采访中说道,他教授机器学习课程。“如果你能训练一个强化学习算法,并结合 OpenAI 的一些语言模型技术,你就可以在技术上创建逐步思考,并允许 AI 模型从你试图解决的大想法中倒推。”

OpenAI o1 也特别昂贵。在大多数模型中,您需要为输入令牌和输出令牌付费。然而,o1 增加了一个隐藏的过程(模型将大问题分解成的小步骤),这增加了大量您无法完全看到的计算。OpenAI 隐藏了这个过程的一些细节,以保持其竞争优势。也就是说,您仍然会以“推理令牌”的形式为这些付费。这进一步强调了使用 OpenAI o1 时需要小心,以免因为询问内华达州的首府在哪里而被收取大量费用。

一个帮助你“从大想法倒推”的人工智能模型的想法是强大的。不过,在实践中,这个模型在这方面表现得相当不错。

在一个例子中,我请 ChatGPT 预览帮助我的家人计划感恩节,这项任务可以从一些无偏见的逻辑和推理中受益。具体来说,我想知道两个烤箱是否足够为 11 人准备感恩节晚餐,并想讨论我们是否应该考虑租一个 Airbnb 以获得第三个烤箱。

经过 12 秒的“思考”,ChatGPT 给我写了一篇超过 750 字的回复,最终告诉我两个烤箱应该足够,只要进行一些精心的策略规划,这将使我的家庭节省开支并有更多时间在一起。但它在每一步都为我详细分析了思路,并解释了它如何考虑所有这些外部因素,包括成本、家庭时间和烤箱管理。

图片来源:Maxwell/OpenAI

图片来源:Maxwell/OpenAI

ChatGPT o1 预览告诉我如何优先考虑举办活动的房子的烤箱空间,这很聪明。奇怪的是,它建议我考虑租一个便携式烤箱来使用一天。也就是说,这个模型的表现比 GPT-4o 好得多,后者需要我多次跟进问题,询问我具体带什么菜,然后给出的建议非常简单,我觉得不太有用。

询问感恩节晚餐可能看起来很傻,但你可以看到这个工具在分解复杂任务时是多么有用。

我还请 o1 帮我规划了一天繁忙的工作日程,我需要在机场、多个不同地点的面对面会议和我的办公室之间旅行。它给了我一个非常详细的计划,但可能有点过于复杂。有时候,所有的额外步骤可能会让人感到有些不知所措。

对于一个简单的问题,o1 做得太多了——它不知道何时停止过度思考。我问在哪里可以找到美国的雪松树,它给出了超过 800 个字的回答,列出了全国每种雪松树的变种,包括它们的学名。出于某种原因,它甚至还不得不咨询 OpenAI 的政策。GPT-4o 在回答这个问题时做得好多了,给了我大约三句话,解释了你可以在全国各地找到这些树。

调整期望

在某种程度上,草莓永远无法达到炒作的期望。关于 OpenAI 推理模型的报道可以追溯到 2023 年 11 月,正好是在大家都在寻找 OpenAI 董事会为何罢免山姆·阿尔特曼的答案的时候。这引发了 AI 界的谣言,让一些人猜测草莓是一种 AGI,即 OpenAI 最终希望创造的启蒙版 AI。

奥特曼确认 o1 不是 AGI,以消除任何疑虑,使用过这个东西后你应该不会感到困惑。首席执行官还降低了对这次发布的期望,发推称“o1 仍然存在缺陷,仍然有限,似乎在第一次使用时更令人印象深刻,而在你花更多时间使用后则不然。”

人工智能界其他部分正在接受一个不如预期的令人兴奋的发布。

“这种炒作在某种程度上是由于 OpenAI 的控制而产生的,”AI 初创公司 ReWorkd 的研究工程师罗汉·潘迪(Rohan Pandey)说道,该公司使用 OpenAI 的模型构建网络爬虫。

他希望 o1 的推理能力足够好,能够解决一系列 GPT-4 无法处理的复杂问题。这可能是行业内大多数人对 o1 的看法,但并不像 GPT-4 对行业所代表的革命性进步。

“每个人都在等待能力的阶跃式变化,但目前还不清楚这是否代表了这一点。我认为就是这么简单,”Brightwave 首席执行官迈克·康诺弗在一次采访中表示,他曾共同创建了 Databricks 的 AI 模型 Dolly。

这里的价值是什么?

创建 o1 的基本原理可以追溯到多年前。前谷歌员工、风险投资公司 S32 的首席执行官安迪·哈里森指出,谷歌在 2016 年使用了类似的技术来创建 AlphaGo,这是第一个击败围棋世界冠军的人工智能系统。AlphaGo 通过与自己对弈无数次进行训练,基本上是自我学习,直到达到超人类的能力。

他指出,这引发了人工智能领域一个古老的争论。

“哈里森在一次采访中表示:‘第一派认为你可以通过这种代理过程来自动化工作流程。第二派认为,如果你拥有通用智能和推理能力,你就不需要工作流程,像人类一样,人工智能只需做出判断。’”

哈里森说他在阶段一,而阶段二要求你信任人工智能做出正确的决定。他认为我们还没有达到那个水平。

然而,其他人认为 o1 更像是一个工具,而不是决策者,用来质疑你在重大决策上的思考。

Katanforoosh,Workera 的首席执行官,描述了一个例子,他要面试一位数据科学家来为他的公司工作。他告诉 OpenAI o1,他只有 30 分钟,并希望评估一定数量的技能。他可以通过 AI 模型反向工作,以了解自己是否在正确思考,而 o1 会理解时间限制等问题。

问题是这个有用的工具是否值得这个高昂的价格。随着人工智能模型变得越来越便宜,o1 是我们看到的很长一段时间以来第一个变得更贵的人工智能模型。

本文翻译自:TechCrunch, https://techcrunch.com/2024/09/13/first-impressions-of-openai-o1-an-ai-designed-to-overthink-it/

编译:ChatGPT

-----------END-----------

🚀 我们正在招募新一期的实习生
🚀 我们正在寻找有创造力的00后创业者

关于Z Potentials

Z Potentials
我们与Z Potentials同频共振
 最新文章