👇关注公众号后设🌟标,掌握第一手AI新动态
本文内容整理自OpenAI 12天产品发布第4天,公开发表于2024年12月10日。原始内容参考:https://www.youtube.com/watch?v=qZ0ImE41pVs
内容提要: OpenAI 12天产品发布Day4Canvas正式发布并全面开放: 此前仅限Plus用户测试的Canvas写作和编码辅助工具,现已正式向所有用户开放,并集成到主要模型中,可以直接使用。
Canvas核心功能:并排编辑和协同创作: Canvas提供了一个并排视图,左侧是传统的ChatGPT聊天界面,右侧是可编辑的Canvas文档。用户和ChatGPT可以在Canvas中同时编辑文档,方便协作和修改。
Canvas的写作辅助功能: Canvas提供快捷键,方便用户进行建议编辑、调整长度、更改阅读级别、添加表情符号等操作,并能自动进行拼写和语法检查。ChatGPT会对编辑进行版本叠加显示,方便用户追踪修改过程。 对于长文本,用户可以直接点击“在Canvas中打开”按钮进行编辑。ChatGPT可以对文本进行逐句评论和建议,用户可以选择性地应用修改。
Canvas的代码执行和调试功能: Canvas支持Python代码的运行和调试,可以直接在Canvas中查看输出结果(包括文本和图形)。内置WebAssembly Python模拟器保证了代码执行速度。ChatGPT可以帮助用户调试代码,并提供更正建议。用户可以直接在Canvas中运行代码并查看结果,快速迭代调试。
Canvas集成到自定义GPT: Canvas功能已集成到自定义GPT中,用户可以在自定义GPT中使用Canvas进行写作和编码。 访谈中演示了如何创建一个帮助圣诞老人回复信件的自定义GPT,并利用Canvas生成回复信件的初稿。 用户只需在自定义GPT的指令中指定使用Canvas工具,即可在使用该GPT时自动调用Canvas功能。
Canvas正式发布并全面开放: 此前仅限Plus用户测试的Canvas写作和编码辅助工具,现已正式向所有用户开放,并集成到主要模型中,可以直接使用。
Canvas核心功能:并排编辑和协同创作: Canvas提供了一个并排视图,左侧是传统的ChatGPT聊天界面,右侧是可编辑的Canvas文档。用户和ChatGPT可以在Canvas中同时编辑文档,方便协作和修改。
Canvas的写作辅助功能: Canvas提供快捷键,方便用户进行建议编辑、调整长度、更改阅读级别、添加表情符号等操作,并能自动进行拼写和语法检查。ChatGPT会对编辑进行版本叠加显示,方便用户追踪修改过程。 对于长文本,用户可以直接点击“在Canvas中打开”按钮进行编辑。ChatGPT可以对文本进行逐句评论和建议,用户可以选择性地应用修改。
Canvas的代码执行和调试功能: Canvas支持Python代码的运行和调试,可以直接在Canvas中查看输出结果(包括文本和图形)。内置WebAssembly Python模拟器保证了代码执行速度。ChatGPT可以帮助用户调试代码,并提供更正建议。用户可以直接在Canvas中运行代码并查看结果,快速迭代调试。
Canvas集成到自定义GPT: Canvas功能已集成到自定义GPT中,用户可以在自定义GPT中使用Canvas进行写作和编码。 访谈中演示了如何创建一个帮助圣诞老人回复信件的自定义GPT,并利用Canvas生成回复信件的初稿。 用户只需在自定义GPT的指令中指定使用Canvas工具,即可在使用该GPT时自动调用Canvas功能。
发布会全文
Kevin: 大家好,欢迎来到第四天。我是Kevin,负责OpenAI的产品。昨天我们发布了Sora,需求量已爆棚。团队昨晚加班到很晚,今天一大早就来了。我们正在尽一切努力让您尽快访问Sora,我们迫不及待地想看看您能创作出什么。
不过,今天我们要讨论的是Canvas,这款产品在过去几个月里一直处于Plus用户的测试阶段。Canvas允许您与ChatGPT协作进行写作和编码,其功能超越了简单的聊天。
今天,我们将推出三项功能。首先,我们将Canvas推广给所有用户,并将其集成到我们的主要模型中,使其能够直接使用。其次,我们将使您能够在Canvas中运行Python代码,并查看输出结果(无论是文本还是图形)。
第三,我们将Canvas引入自定义GPT,以便您可以为所有自定义GPT赋予Canvas的功能。好了,让我们开始吧。
Lee: 好的,谢谢Kevin。大家好,我是Lee,我是一名工程师,致力于帮助大家与ChatGPT协作。
Alexi: 大家好,我是Alexi,我也是一名负责ChatGPT的产品工程师。Lee,你的孩子们对即将到来的圣诞节兴奋吗?
Lee: 哦,是的,非常兴奋。我想,如果我们能为他们创作一个圣诞故事,一个关于圣诞节的故事,并使用Canvas来尝试一下,那就很有趣。是的,让我们试试吧。好的,如果我进入ChatGPT,你会注意到,从今天开始,创作器中出现了一个新的按钮,让我们可以查看所有可用的工具,其中一个是Canvas。所以我点击它。现在,我在这里输入的任何内容都将创建一个Canvas。让我们来写那个故事吧。帮我写一个关于傻精灵的圣诞故事,给我的孩子们。
我将把它发送给ChatGPT,它将立即开始为我们创建一个Canvas。我们应该解释一下这里发生的事情。最显著的不同之处在于,您拥有这种并排视图,左侧是您习惯的聊天界面,右侧是Canvas。
在Canvas中,ChatGPT现在正忙着为我们编写故事。这与您以前编写此类提示时发生的情况大相径庭。ChatGPT擅长这类创意写作工作,但它会直接在聊天中编写。有时很难区分文档、前言或后续内容是什么,特别是如果您想沿途进行任何更改,内容往往会丢失。
但是现在您有了这个并排视图。让我们看看ChatGPT为我们创作了什么:“傻精灵和圣诞灾难”。哦,不,不是灾难!在北极边缘的丁瑟镇这个雪村里,住着一群你能想象到的最傻的精灵。
好吧,看起来还不错。我可以做一些修改。我认为这个标题有点长,所以我可能会去掉一部分。实际上,除此之外都OK。
Kevin: 非常好。所以ChatGPT可以编辑,你也可以并排编辑。
Lee: 是的,我可以在此处输入文字。我一直在编辑标题。我正在为我的孩子们修改它。这是一个协作文档,就像您在其他文档编辑器中习惯的那样,您可以在这里添加文本,可以加粗文本,您可以执行在其他文档编辑器中可以执行的许多操作。您可以编辑,ChatGPT也可以编辑。
我可以回到聊天界面,就像我在任何其他ChatGPT工作流程中所做的那样,我可以提供反馈,可以要求更改,它将直接在Canvas中进行这些更改。但我认为展示这个位于底角的按钮会更有趣,它包含一些常用的快捷键,这些快捷键基于我们了解人们在ChatGPT中所做的事情。
这些包括建议编辑、要求ChatGPT就我们可能想要更改的内容提供反馈,以及调整长度——也许将其改成较短的睡前故事。阅读级别可以更改这一点,使其成为更复杂的语言或更简单的语言,以防我想让它更容易被我的年幼的孩子阅读。
“添加最终润色”功能非常有用,尤其是在您添加自己的内容时。它会检查拼写错误、语法错误等。然后是添加表情符号,这听起来很有趣。是的,们喜欢表情符号。
好的,让我们试试吧。如果我点击“添加表情符号”,我知道我有一些关于我想把它们放在哪里(单词、段落、列表)的选择——让我们试试单词。我点击它,ChatGPT就会开始在我的文档中添加表情符号。看,就是这样。
您现在看到的是ChatGPT正在对Canvas中的文档进行修改。它从顶部开始,编写文档的新版本,并将其叠加在先前版本之上,只是为了更容易地看到正在更改的内容。除此之外,在聊天中,您会看到它正在编辑,并且您会注意到我们来回发出指令。但除此之外,它不会因发生的各种修订而变得混乱。
Kevin: 就像我八岁的孩子拿到手机一样。
Lee: 你的孩子们会喜欢这个的,Lee。我在这里添加了很多表情符号,效果非常好。好的,这就是你开始使用Canvas的方法。Canvas将在几种不同的场景中触发。您可以要求ChatGPT开始与您协作创作内容,无论是写作还是代码,它都会自动为您打开一个Canvas。或者像我刚才在界面中所做的那样,我将再次向您展示,这是创作器中的按钮,用于查看工具。您只需点击Canvas,每次都会创建一个新的Canvas。
Alexi: 太棒了。除了讲故事之外,很多人还使用ChatGPT来帮助他们进行写作。学习如何成为一名优秀的作家很难,今天我们很高兴展示Canvas中的一些新功能,以使获得作品反馈变得更容易。
在我的业余时间里,我有点物理爱好者,我有一篇一直在写的论文,标题是“圣诞老人的杀戮:探索暗能量在驯鹿推进中的作用”。我将从我的文本编辑器中复制它,并将其粘贴到ChatGPT的提示区域中。
因为我输入了大量的文本,所以现在在右上角出现了一个新的按钮,上面写着“在Canvas中打开”。如果我点击它,提示中的内容将被放入Canvas中,这与Lee演示的相同可编辑界面。
是的,如果我想在发送给ChatGPT之前,我可以在这里进行更改。
Lee: 那么,当你做了那个大胆的改动后,发生了什么?
Alexi: 是的,这仍然只是一个草稿文档。所以在我发送消息之前,我可以随意编辑它。ChatGPT 还没有看到它,它附加在编辑器上。没错。所以我将在这里询问 ChatGPT
你能从我的物理教授的角度对我的论文提一些评论吗?
Lee: 不错,好的,也许它会给你一些技术方面的建议。
Alexi: 我们看看它会返回什么,但以前很难将 ChatGPT 给你的反馈与你自己的工作联系起来,因为所有内容都在聊天中一行显示。但是现在有了画布,ChatGPT 可以选择你作品的特定部分并内联添加评论,这使得将建议与你的工作联系起来变得非常容易。
Lee: 是的,我正在看这些。这些反馈相当不错。“考虑将引言更明确地与暗能量的科学探索联系起来,以立即建立物理联系。”但它并没有像在聊天中那样回应,而是选择了“圣诞老人的雪橇和他的飞行驯鹿长期以来一直吸引着人们,将神秘和魔法融为一体。”好的,它就像挑出它想给出反馈的句子,然后针对具体句子写反馈。
Alexi: 没错。对于每一个评论,我都可以点击“应用”按钮。点击“应用”将允许 ChatGPT 根据其认为合适的方案进行编辑。当然,如果我想的话,我可以拒绝该编辑。但由于这是我自己的论文,我将在这里自己进行修改。
我喜欢这个评论:“你可以简要阐述为什么暗能量神秘莫测,以提供背景信息。”我打算写:我们不知道宇宙为什么会膨胀,我们也不知道圣诞老人为什么雪橇那么快。我对这些感到好奇。宇宙的奥秘。我将驳回这个评论,因为我觉得我已经解决了这个问题。
当我准备好将我的论文从 ChatGPT 中导出时,我可以点击这个“复制”按钮并将它发送给我的教授。太棒了!我相信你的教授会喜欢这些修改的。这是一些前沿的研究。
除了在 ChatGPT 中写作,我们知道很多人也用它来编程。我们也对画布中的编程做了一些非常令人兴奋的改进。让我们来看看。我还一直在帮助圣诞老人处理一些玩具制造的后勤工作,并且学习了一些 Python 数据科学工具。
Kevin: 你是一位 OpenAI 工程师,你也是一位暗能量研究员,你还帮助圣诞老人处理后勤工作。
Alexi: 是的,我的意思是,圣诞老人可以同时出现在任何地方。我们真的试图在 OpenAI 这里做到这一点。明白了。我有一些我一直在本地工作的示例代码。这是我的本地 IDE,但有些东西不起作用,我想寻求一些帮助来调试它。我将复制它,然后将其粘贴到 ChatGPT 中。
我看到了画布上相同的“打开”按钮。我点击它,现在我打开了一个画布,但这次它实际上是一个代码编辑器。ChatGPT 识别出这是 Python 代码。我得到了 Python 语法高亮显示,甚至还有一些基本的自动补全功能。不错。我知道这段代码不起作用,所以我将询问 ChatGPT,你能帮我调试这段代码吗?可能哪里出错了?
ChatGPT 查看了代码并确定plot.label
在 Matplotlib 中不存在。它提供了一个更正代码的示例。我们可以信任它并将代码带回本地,但我们今天想要演示的新功能之一是能够在画布内实际运行你的 Python 代码。因此,在右上方,我们有一个名为“运行”的按钮。
看看 ChatGPT 是否完成。我们将点击“运行”看看会发生什么。点击“运行”,看起来我们立即看到label
未定义,所以 ChatGPT 对此是正确的。我们看到了异常,并且控制台中的任何内容都会立即显示给 ChatGPT。所以 ChatGPT 看到了这个异常,它实际上对此添加了一条评论。
Lee: 看起来这证实了错误发生是因为label
不是 Matplotlib 中的有效函数,你可能需要使用title
来代替。这太棒了。我觉得我一直在努力学习新的库,而这正是我一直遇到的那种错误。就像忘记某个东西的 API 一样,它能立即找出这一点真是太神奇了。
Alexi: 所以当我点击文档中的评论时,有一个“修复错误”按钮,可以让 ChatGPT 帮你修复它。所以当我点击“修复错误”时,我们会向 ChatGPT 显示异常和你的代码,它能够编辑画布来进行更正。这很快,所以也许我们想确切地看看 ChatGPT 做了哪些更改。
一个内联差异,这对于使用 Git 的人来说应该很熟悉,它会准确地向你显示所做的更改。
Lee: 这很酷。并且“显示更改”不仅适用于代码,也适用于文档。
Alexi: 没错。是的,适用于这两个编辑器。所以现在我们已经有了这个修复程序,我们可以尝试点击“运行”来查看它现在是否有效。哇,这太快了。我们的折线图现在在控制台中渲染了。
Lee: 那么,你能稍微解释一下到底发生了什么吗?因为 Python 执行非常快。
Alexi: 在画布中,我们实际上加载了一个 WebAssembly Python 模拟器,这使我们能够几乎立即加载任何 Python 库并运行你的代码。所以你可以立即得到反馈。你可以毫不费力地与 ChatGPT 协作,并在 ChatGPT 中拥有一个紧密的反馈循环,包括生成图形。包括生成图形。所以圣诞老人尤其对一些 Sankey 流量图感兴趣,可以跟进他的玩具分布,那些是有进有出的箭头的那种图。
Alexi: 老实说,我甚至不确定圣诞老人是否要求我这样做。是的。我正在学习。他总是挑战我们。我将要求 ChatGPT 添加一个圣诞老人的玩具 Sankey 流量图。请使用合适的颜色。看看我们是否能得到一些圣诞主题的东西。有趣。所以 ChatGPT 将再次修改我们的代码。现在它添加了示例 2,一个 Sankey 图。酷。所以我们得到了玩具总数。
Lee: 好的,所以这里添加了几行代码,创建了一个桑基图,添加数据,完成它,然后显示。
Alexi: 是的,让我们试试运行它。哦,不。看起来颜色方面出现问题了。但是ChatGPT想到了解决方法:每个流程使用单一颜色。让我们试试。
Lee: 这真是太棒了,因为这正是我学习新事物时会遇到的情况:我会去搜索示例代码,运行它。它不可避免地不会完全正常工作。然后我会再试一次,然后反复尝试,试图解读那些难以理解的Python错误并自己解决问题。哦,好了。看起来Matplotlib的桑基图布局可能有一些bug,但我们得到了图形,所以问题不大。
Alexi: 我们得到了一个图形,我们可以用ChatGPT继续改进它,甚至可以将此图像拖到提示区域,以便向ChatGPT准确地展示图像的样子,以帮助改进。所以这些是Canvas中一些新的编程功能,太棒了!
Lee: 好的,还有一件事我想展示,那就是将Canvas集成到自定义GPT中。如果您不熟悉GPT,它是一种让ChatGPT遵循自定义指令、自定义上下文,并赋予其针对特定任务的独特且特定行为的方式。然后您可以与其他人分享,以便他们也能从中受益。
有一个充满这些GPT的商店,它们非常有趣,我决定为圣诞老人做一个。你知道,圣诞老人收到所有这些信件,他必须回复所有信件,我认为这肯定有很多工作要做。
如果他仅仅有一个初稿,一些可以开始的东西,那可能会很有帮助。他可以决定是否喜欢它,可以编辑,可以从那里开始,然后发送他的邮件。
Lee: Alexi,我碰巧注意到你写给圣诞老人的信放在你的桌子上。哦,我本来打算已经寄出去了。真不敢相信你找到了它。是的,我拍了一张照片,我想也许我们可以在这里用它作为例子。如果我能弄清楚我的鼠标怎么用的话,让我们把它拿过来。
好的,我们把图片放进了ChatGPT。让我们快速打开它。
Kevin: 一块GPU和一些暗物质。符合预期。
Lee: 那看起来像我的信。我还认为圣诞老人有一些关于你是否表现良好的背景信息。这是他跟踪的事情之一。除了拍下信件的照片外,我们可能还想添加进去。所以我要让圣诞老人的起草工具知道Alexi今年表现很好。
好的,Alexi今年表现很好,所以让我们把它发送到我们的自定义GPT。希望我们会收到一个Canvas。
好的,我们的自定义GPT开始撰写我们的信了。很好。它说:亲爱的Alexi,Ho ho ho,感谢你的来信。你让我脸上露出了灿烂的笑容。
让我们看看,我们这里有什么?首先,一辆新自行车。绝佳的选择。好的,看起来你将得到那辆自行车。太好了。
H100 GPU,克劳斯夫人告诉我,它是一款运行AI模型的强大工具。技术车间的精灵们也在为你研究这个。所以这是很有希望的。
还有暗物质。嗯,圣诞老人承认这可能超出了他的玩具工厂的能力范围。所以听起来你可能不应该抱太大希望。
Alexi: 是的,我不知道你怎么把那个东西放进袜子里。
Lee: 但这是一个非常好的初稿。你知道,圣诞老人可以在这里随意更改,随意进行编辑。然后一旦他准备好,就可以用他特有的笔迹写出来,并将这封信寄给你。希望这能节省圣诞老人一些时间。
所以,你知道,我们应该稍微讨论一下这里实际发生的事情。你可能已经注意到我没有点击Canvas按钮,我没有提到要创建一个Canvas,它只是创建了一个Canvas。这是一个ChatGPT确定Canvas是正确选择,但我无需知道这一点的例子。
是的。好吧,当我构建这个自定义GPT时,我把那部分内容放在了自定义指令中。所以你们想看看我是怎么做到的吗?
所以如果我们到这里进入GPT,对不起,然后点击编辑。
这应该会将我们带到配置页面。这就是你设置GPT的方式,非常简单。你可以获得图片、名称和描述,这样如果选择分享,商店里的人就能看到它是关于什么的。
这里重要的部分是指令。我在这里写道:你是一个工具,帮助圣诞老人用Canvas撰写对收到的信件的初步回复。每个回复都将以圣诞老人特有的风格和幽默感来撰写,你的工作是使用Canvas工具来回复信件。所以在指令中,我告诉它使用Canvas工具。我期望它会将Canvas用于我放入其中的几乎所有内容,这正是我想要它做的。那将是正确的工具。
除此之外,在底部是一个关于你能力的复选框列表。这是ChatGPT中可在GPT中使用的工具集。这里有一个新的工具,Canvas,在我们今天推出时,它将默认启用新的GPT。对于现有的GPT,我们将关闭此功能,以免破坏人们创建的任何现有GPT的行为。
但是,如果你想将Canvas添加到你现有的GPT中,这很容易做到。你只需进入此配置屏幕,你会看到该复选框,然后你可以选中它。然后你就可以使用Canvas了。
Lee: 太棒了。是的。这就是Canvas。这是我们今天想向你们展示的一些东西。我们将Canvas推广到所有网页用户,无论他们使用什么套餐,因为它在4.0版本中是默认体验。所以,无论你是免费用户还是付费用户,你都可以使用Canvas。我们已经实现了在ChatGPT中使用你自己的内容,或者在Canvas中使用你自己的内容。我们实现了代码执行,并且在自定义GPT中也实现了Canvas。
Kevin: 太棒了。我们非常期待看到你们用它做什么。就像Lee说的,我们今天就会推出这个功能。不过,在我们结束之前,让我们讲个圣诞笑话吧。准备好了吗?好的。圣诞老人是怎么拍照的?好的,让我们听听。用北极拍立得。
好的。明天见,各位。
参考资料: https://www.youtube.com/watch?v=qZ0ImE41pVs,公开发表于2024-12-10
关注公众号后设🌟标,掌握第一手AI新动态