全程图文实况|OpenAI 12天产品发布 - Day4: Canvas

文摘   2024-12-11 07:06   浙江  

👇关注公众号后设🌟标,掌握第一手AI新动态


本文内容整理自OpenAI 12天产品发布第4天,公开发表于2024年12月10日。原始内容参考:https://www.youtube.com/watch?v=qZ0ImE41pVs

内容提要: OpenAI 12天产品发布Day4
  1. Canvas正式发布并全面开放:  此前仅限Plus用户测试的Canvas写作和编码辅助工具,现已正式向所有用户开放,并集成到主要模型中,可以直接使用。

  2. Canvas核心功能:并排编辑和协同创作: Canvas提供了一个并排视图,左侧是传统的ChatGPT聊天界面,右侧是可编辑的Canvas文档。用户和ChatGPT可以在Canvas中同时编辑文档,方便协作和修改。

  3. Canvas的写作辅助功能:  Canvas提供快捷键,方便用户进行建议编辑、调整长度、更改阅读级别、添加表情符号等操作,并能自动进行拼写和语法检查。ChatGPT会对编辑进行版本叠加显示,方便用户追踪修改过程。  对于长文本,用户可以直接点击“在Canvas中打开”按钮进行编辑。ChatGPT可以对文本进行逐句评论和建议,用户可以选择性地应用修改。

  4. Canvas的代码执行和调试功能:  Canvas支持Python代码的运行和调试,可以直接在Canvas中查看输出结果(包括文本和图形)。内置WebAssembly Python模拟器保证了代码执行速度。ChatGPT可以帮助用户调试代码,并提供更正建议。用户可以直接在Canvas中运行代码并查看结果,快速迭代调试。

  5. Canvas集成到自定义GPT:  Canvas功能已集成到自定义GPT中,用户可以在自定义GPT中使用Canvas进行写作和编码。  访谈中演示了如何创建一个帮助圣诞老人回复信件的自定义GPT,并利用Canvas生成回复信件的初稿。  用户只需在自定义GPT的指令中指定使用Canvas工具,即可在使用该GPT时自动调用Canvas功能。

发布会全文

Kevin:  大家好,欢迎来到第四天。我是Kevin,负责OpenAI的产品。昨天我们发布了Sora,需求量已爆棚。团队昨晚加班到很晚,今天一大早就来了。我们正在尽一切努力让您尽快访问Sora,我们迫不及待地想看看您能创作出什么。

不过,今天我们要讨论的是Canvas,这款产品在过去几个月里一直处于Plus用户的测试阶段。Canvas允许您与ChatGPT协作进行写作和编码,其功能超越了简单的聊天。

今天,我们将推出三项功能。首先,我们将Canvas推广给所有用户,并将其集成到我们的主要模型中,使其能够直接使用。其次,我们将使您能够在Canvas中运行Python代码,并查看输出结果(无论是文本还是图形)。

第三,我们将Canvas引入自定义GPT,以便您可以为所有自定义GPT赋予Canvas的功能。好了,让我们开始吧。

Lee:   好的,谢谢Kevin。大家好,我是Lee,我是一名工程师,致力于帮助大家与ChatGPT协作。

Alexi:   大家好,我是Alexi,我也是一名负责ChatGPT的产品工程师。Lee,你的孩子们对即将到来的圣诞节兴奋吗?

Lee:   哦,是的,非常兴奋。我想,如果我们能为他们创作一个圣诞故事,一个关于圣诞节的故事,并使用Canvas来尝试一下,那就很有趣。是的,让我们试试吧。好的,如果我进入ChatGPT,你会注意到,从今天开始,创作器中出现了一个新的按钮,让我们可以查看所有可用的工具,其中一个是Canvas。所以我点击它。现在,我在这里输入的任何内容都将创建一个Canvas。让我们来写那个故事吧。帮我写一个关于傻精灵的圣诞故事,给我的孩子们。

我将把它发送给ChatGPT,它将立即开始为我们创建一个Canvas。我们应该解释一下这里发生的事情。最显著的不同之处在于,您拥有这种并排视图,左侧是您习惯的聊天界面,右侧是Canvas。

在Canvas中,ChatGPT现在正忙着为我们编写故事。这与您以前编写此类提示时发生的情况大相径庭。ChatGPT擅长这类创意写作工作,但它会直接在聊天中编写。有时很难区分文档、前言或后续内容是什么,特别是如果您想沿途进行任何更改,内容往往会丢失。

但是现在您有了这个并排视图。让我们看看ChatGPT为我们创作了什么:“傻精灵和圣诞灾难”。哦,不,不是灾难!在北极边缘的丁瑟镇这个雪村里,住着一群你能想象到的最傻的精灵。

好吧,看起来还不错。我可以做一些修改。我认为这个标题有点长,所以我可能会去掉一部分。实际上,除此之外都OK。

Kevin:   非常好。所以ChatGPT可以编辑,你也可以并排编辑。

Lee:  是的,我可以在此处输入文字。我一直在编辑标题。我正在为我的孩子们修改它。这是一个协作文档,就像您在其他文档编辑器中习惯的那样,您可以在这里添加文本,可以加粗文本,您可以执行在其他文档编辑器中可以执行的许多操作。您可以编辑,ChatGPT也可以编辑。

我可以回到聊天界面,就像我在任何其他ChatGPT工作流程中所做的那样,我可以提供反馈,可以要求更改,它将直接在Canvas中进行这些更改。但我认为展示这个位于底角的按钮会更有趣,它包含一些常用的快捷键,这些快捷键基于我们了解人们在ChatGPT中所做的事情。

这些包括建议编辑、要求ChatGPT就我们可能想要更改的内容提供反馈,以及调整长度——也许将其改成较短的睡前故事。阅读级别可以更改这一点,使其成为更复杂的语言或更简单的语言,以防我想让它更容易被我的年幼的孩子阅读。

“添加最终润色”功能非常有用,尤其是在您添加自己的内容时。它会检查拼写错误、语法错误等。然后是添加表情符号,这听起来很有趣。是的,们喜欢表情符号。

好的,让我们试试吧。如果我点击“添加表情符号”,我知道我有一些关于我想把它们放在哪里(单词、段落、列表)的选择——让我们试试单词。我点击它,ChatGPT就会开始在我的文档中添加表情符号。看,就是这样。

您现在看到的是ChatGPT正在对Canvas中的文档进行修改。它从顶部开始,编写文档的新版本,并将其叠加在先前版本之上,只是为了更容易地看到正在更改的内容。除此之外,在聊天中,您会看到它正在编辑,并且您会注意到我们来回发出指令。但除此之外,它不会因发生的各种修订而变得混乱。

Kevin:   就像我八岁的孩子拿到手机一样。

Lee:   你的孩子们会喜欢这个的,Lee。我在这里添加了很多表情符号,效果非常好。好的,这就是你开始使用Canvas的方法。Canvas将在几种不同的场景中触发。您可以要求ChatGPT开始与您协作创作内容,无论是写作还是代码,它都会自动为您打开一个Canvas。或者像我刚才在界面中所做的那样,我将再次向您展示,这是创作器中的按钮,用于查看工具。您只需点击Canvas,每次都会创建一个新的Canvas。

Alexi:  太棒了。除了讲故事之外,很多人还使用ChatGPT来帮助他们进行写作。学习如何成为一名优秀的作家很难,今天我们很高兴展示Canvas中的一些新功能,以使获得作品反馈变得更容易。

在我的业余时间里,我有点物理爱好者,我有一篇一直在写的论文,标题是“圣诞老人的杀戮:探索暗能量在驯鹿推进中的作用”。我将从我的文本编辑器中复制它,并将其粘贴到ChatGPT的提示区域中。

因为我输入了大量的文本,所以现在在右上角出现了一个新的按钮,上面写着“在Canvas中打开”。如果我点击它,提示中的内容将被放入Canvas中,这与Lee演示的相同可编辑界面。

是的,如果我想在发送给ChatGPT之前,我可以在这里进行更改。

Lee:   那么,当你做了那个大胆的改动后,发生了什么?

Alexi:   是的,这仍然只是一个草稿文档。所以在我发送消息之前,我可以随意编辑它。ChatGPT 还没有看到它,它附加在编辑器上。没错。所以我将在这里询问 ChatGPT

你能从我的物理教授的角度对我的论文提一些评论吗?

Lee:   不错,好的,也许它会给你一些技术方面的建议。

Alexi:   我们看看它会返回什么,但以前很难将 ChatGPT 给你的反馈与你自己的工作联系起来,因为所有内容都在聊天中一行显示。但是现在有了画布,ChatGPT 可以选择你作品的特定部分并内联添加评论,这使得将建议与你的工作联系起来变得非常容易。

Lee:   是的,我正在看这些。这些反馈相当不错。“考虑将引言更明确地与暗能量的科学探索联系起来,以立即建立物理联系。”但它并没有像在聊天中那样回应,而是选择了“圣诞老人的雪橇和他的飞行驯鹿长期以来一直吸引着人们,将神秘和魔法融为一体。”好的,它就像挑出它想给出反馈的句子,然后针对具体句子写反馈。

Alexi:  没错。对于每一个评论,我都可以点击“应用”按钮。点击“应用”将允许 ChatGPT 根据其认为合适的方案进行编辑。当然,如果我想的话,我可以拒绝该编辑。但由于这是我自己的论文,我将在这里自己进行修改。

我喜欢这个评论:“你可以简要阐述为什么暗能量神秘莫测,以提供背景信息。”我打算写:我们不知道宇宙为什么会膨胀,我们也不知道圣诞老人为什么雪橇那么快。我对这些感到好奇。宇宙的奥秘。我将驳回这个评论,因为我觉得我已经解决了这个问题。

当我准备好将我的论文从 ChatGPT 中导出时,我可以点击这个“复制”按钮并将它发送给我的教授。太棒了!我相信你的教授会喜欢这些修改的。这是一些前沿的研究。

除了在 ChatGPT 中写作,我们知道很多人也用它来编程。我们也对画布中的编程做了一些非常令人兴奋的改进。让我们来看看。我还一直在帮助圣诞老人处理一些玩具制造的后勤工作,并且学习了一些 Python 数据科学工具。

Kevin:   你是一位 OpenAI 工程师,你也是一位暗能量研究员,你还帮助圣诞老人处理后勤工作。

Alexi:  是的,我的意思是,圣诞老人可以同时出现在任何地方。我们真的试图在 OpenAI 这里做到这一点。明白了。我有一些我一直在本地工作的示例代码。这是我的本地 IDE,但有些东西不起作用,我想寻求一些帮助来调试它。我将复制它,然后将其粘贴到 ChatGPT 中。

我看到了画布上相同的“打开”按钮。我点击它,现在我打开了一个画布,但这次它实际上是一个代码编辑器。ChatGPT 识别出这是 Python 代码。我得到了 Python 语法高亮显示,甚至还有一些基本的自动补全功能。不错。我知道这段代码不起作用,所以我将询问 ChatGPT,你能帮我调试这段代码吗?可能哪里出错了?

ChatGPT 查看了代码并确定plot.label 在 Matplotlib 中不存在。它提供了一个更正代码的示例。我们可以信任它并将代码带回本地,但我们今天想要演示的新功能之一是能够在画布内实际运行你的 Python 代码。因此,在右上方,我们有一个名为“运行”的按钮。

看看 ChatGPT 是否完成。我们将点击“运行”看看会发生什么。点击“运行”,看起来我们立即看到label 未定义,所以 ChatGPT 对此是正确的。我们看到了异常,并且控制台中的任何内容都会立即显示给 ChatGPT。所以 ChatGPT 看到了这个异常,它实际上对此添加了一条评论。

Lee:   看起来这证实了错误发生是因为label 不是 Matplotlib 中的有效函数,你可能需要使用title 来代替。这太棒了。我觉得我一直在努力学习新的库,而这正是我一直遇到的那种错误。就像忘记某个东西的 API 一样,它能立即找出这一点真是太神奇了。

Alexi:   所以当我点击文档中的评论时,有一个“修复错误”按钮,可以让 ChatGPT 帮你修复它。所以当我点击“修复错误”时,我们会向 ChatGPT 显示异常和你的代码,它能够编辑画布来进行更正。这很快,所以也许我们想确切地看看 ChatGPT 做了哪些更改。

一个内联差异,这对于使用 Git 的人来说应该很熟悉,它会准确地向你显示所做的更改。

Lee:   这很酷。并且“显示更改”不仅适用于代码,也适用于文档。

Alexi:   没错。是的,适用于这两个编辑器。所以现在我们已经有了这个修复程序,我们可以尝试点击“运行”来查看它现在是否有效。哇,这太快了。我们的折线图现在在控制台中渲染了。

Lee:   那么,你能稍微解释一下到底发生了什么吗?因为 Python 执行非常快。

Alexi:   在画布中,我们实际上加载了一个 WebAssembly Python 模拟器,这使我们能够几乎立即加载任何 Python 库并运行你的代码。所以你可以立即得到反馈。你可以毫不费力地与 ChatGPT 协作,并在 ChatGPT 中拥有一个紧密的反馈循环,包括生成图形。包括生成图形。所以圣诞老人尤其对一些 Sankey 流量图感兴趣,可以跟进他的玩具分布,那些是有进有出的箭头的那种图。

Alexi:   老实说,我甚至不确定圣诞老人是否要求我这样做。是的。我正在学习。他总是挑战我们。我将要求 ChatGPT 添加一个圣诞老人的玩具 Sankey 流量图。请使用合适的颜色。看看我们是否能得到一些圣诞主题的东西。有趣。所以 ChatGPT 将再次修改我们的代码。现在它添加了示例 2,一个 Sankey 图。酷。所以我们得到了玩具总数。

Lee:  好的,所以这里添加了几行代码,创建了一个桑基图,添加数据,完成它,然后显示。

Alexi:  是的,让我们试试运行它。哦,不。看起来颜色方面出现问题了。但是ChatGPT想到了解决方法:每个流程使用单一颜色。让我们试试。

Lee:  这真是太棒了,因为这正是我学习新事物时会遇到的情况:我会去搜索示例代码,运行它。它不可避免地不会完全正常工作。然后我会再试一次,然后反复尝试,试图解读那些难以理解的Python错误并自己解决问题。哦,好了。看起来Matplotlib的桑基图布局可能有一些bug,但我们得到了图形,所以问题不大。

Alexi:  我们得到了一个图形,我们可以用ChatGPT继续改进它,甚至可以将此图像拖到提示区域,以便向ChatGPT准确地展示图像的样子,以帮助改进。所以这些是Canvas中一些新的编程功能,太棒了!

Lee:  好的,还有一件事我想展示,那就是将Canvas集成到自定义GPT中。如果您不熟悉GPT,它是一种让ChatGPT遵循自定义指令、自定义上下文,并赋予其针对特定任务的独特且特定行为的方式。然后您可以与其他人分享,以便他们也能从中受益。

有一个充满这些GPT的商店,它们非常有趣,我决定为圣诞老人做一个。你知道,圣诞老人收到所有这些信件,他必须回复所有信件,我认为这肯定有很多工作要做。

如果他仅仅有一个初稿,一些可以开始的东西,那可能会很有帮助。他可以决定是否喜欢它,可以编辑,可以从那里开始,然后发送他的邮件。

Lee:  Alexi,我碰巧注意到你写给圣诞老人的信放在你的桌子上。哦,我本来打算已经寄出去了。真不敢相信你找到了它。是的,我拍了一张照片,我想也许我们可以在这里用它作为例子。如果我能弄清楚我的鼠标怎么用的话,让我们把它拿过来。

好的,我们把图片放进了ChatGPT。让我们快速打开它。

Kevin:  一块GPU和一些暗物质。符合预期。

Lee:  那看起来像我的信。我还认为圣诞老人有一些关于你是否表现良好的背景信息。这是他跟踪的事情之一。除了拍下信件的照片外,我们可能还想添加进去。所以我要让圣诞老人的起草工具知道Alexi今年表现很好。

好的,Alexi今年表现很好,所以让我们把它发送到我们的自定义GPT。希望我们会收到一个Canvas。

好的,我们的自定义GPT开始撰写我们的信了。很好。它说:亲爱的Alexi,Ho ho ho,感谢你的来信。你让我脸上露出了灿烂的笑容。

让我们看看,我们这里有什么?首先,一辆新自行车。绝佳的选择。好的,看起来你将得到那辆自行车。太好了。

H100 GPU,克劳斯夫人告诉我,它是一款运行AI模型的强大工具。技术车间的精灵们也在为你研究这个。所以这是很有希望的。

还有暗物质。嗯,圣诞老人承认这可能超出了他的玩具工厂的能力范围。所以听起来你可能不应该抱太大希望。

Alexi:  是的,我不知道你怎么把那个东西放进袜子里。

Lee:  但这是一个非常好的初稿。你知道,圣诞老人可以在这里随意更改,随意进行编辑。然后一旦他准备好,就可以用他特有的笔迹写出来,并将这封信寄给你。希望这能节省圣诞老人一些时间。

所以,你知道,我们应该稍微讨论一下这里实际发生的事情。你可能已经注意到我没有点击Canvas按钮,我没有提到要创建一个Canvas,它只是创建了一个Canvas。这是一个ChatGPT确定Canvas是正确选择,但我无需知道这一点的例子。

是的。好吧,当我构建这个自定义GPT时,我把那部分内容放在了自定义指令中。所以你们想看看我是怎么做到的吗?

所以如果我们到这里进入GPT,对不起,然后点击编辑。

这应该会将我们带到配置页面。这就是你设置GPT的方式,非常简单。你可以获得图片、名称和描述,这样如果选择分享,商店里的人就能看到它是关于什么的。

这里重要的部分是指令。我在这里写道:你是一个工具,帮助圣诞老人用Canvas撰写对收到的信件的初步回复。每个回复都将以圣诞老人特有的风格和幽默感来撰写,你的工作是使用Canvas工具来回复信件。所以在指令中,我告诉它使用Canvas工具。我期望它会将Canvas用于我放入其中的几乎所有内容,这正是我想要它做的。那将是正确的工具。

除此之外,在底部是一个关于你能力的复选框列表。这是ChatGPT中可在GPT中使用的工具集。这里有一个新的工具,Canvas,在我们今天推出时,它将默认启用新的GPT。对于现有的GPT,我们将关闭此功能,以免破坏人们创建的任何现有GPT的行为。

但是,如果你想将Canvas添加到你现有的GPT中,这很容易做到。你只需进入此配置屏幕,你会看到该复选框,然后你可以选中它。然后你就可以使用Canvas了。

Lee:  太棒了。是的。这就是Canvas。这是我们今天想向你们展示的一些东西。我们将Canvas推广到所有网页用户,无论他们使用什么套餐,因为它在4.0版本中是默认体验。所以,无论你是免费用户还是付费用户,你都可以使用Canvas。我们已经实现了在ChatGPT中使用你自己的内容,或者在Canvas中使用你自己的内容。我们实现了代码执行,并且在自定义GPT中也实现了Canvas。

Kevin:  太棒了。我们非常期待看到你们用它做什么。就像Lee说的,我们今天就会推出这个功能。不过,在我们结束之前,让我们讲个圣诞笑话吧。准备好了吗?好的。圣诞老人是怎么拍照的?好的,让我们听听。用北极拍立得。

好的。明天见,各位。

参考资料: https://www.youtube.com/watch?v=qZ0ImE41pVs,公开发表于2024-12-10

关注公众号后设🌟标,掌握第一手AI新动态

往期精选

  1. 黄仁勋专访:OpenAI在大模型混战中达到“逃逸速度”
  2. 李飞飞与Justin深度解读空间智能:数字世界需要三维表征,才能与现实世界融合
  3. PayPal创始人彼得·蒂尔:人类科技停滞源于原子方面的进展远慢于比特
  4. 谷歌联合创始人布林:巨头们打造的“上帝模型”几乎可以理解一切
  5. 马斯克:AI将使商品和服务的成本趋近于零
  6. Karpathy最新专访:人形机器人、特斯拉、数据墙与合成数据

瓜哥AI新知
紧追AI业界一手观点、访谈、动态,点滴构建AI底层认知
 最新文章