中国时间凌晨 1 点多,OpenAI 召开了本年的开发者大会(旧金山场)。顺道说一下,今年开发者大会一共 3 场:10月1号旧金山;10月30号伦敦,以及11月21日新加坡
本次的发布,大体是常规更新,包括:
【新东西】Realtime API
可以理解为就是 GPT-4o 带 advanced voice 的那套,支持 API 了
可以在 playground 里先玩玩
价格很贵很贵,音频的话:
输入价格:100刀 每百万 token
输出价格:200刀 每百万 token
视觉模型微调
对于支持图像的模型,比如 4o 或者 4o-mini,现在可以用图片进行微调了
利好工业/医疗等场景
看了下文档,方法挺友好的,价格也会贵一些:以 4o-0806 为例子,微调价格为 25 刀/百万 token;之后调用是 $3.75 输入,$15 输出
缓存折扣
如果命中缓存,5折,目前支持:gpt-4o,gpt-4o-mini,o1-preview 和 o1-mini 这四个模型
具体可以看这里:https://platform.openai.com/docs/guides/prompt-caching
不如 DeepSeek 的缓存打一折:《DeepSeek API 创新采用硬盘缓存,价格再降一个数量级》
其他发布
模型层面,带来了蒸馏服务:这确实是独一份的,用来生产高质量语料。不过这东西,对普通开发者,应该用处不大
调试方面,迭代了很多 playground 中的工具链和交互方式,比如 system prompt 的自动优化
在 api 层面,支持了如 zod,pydantic 这样的工具,方便更好的结构化输出(疑惑:之前不就支持了?我一直在用啊)
其他...
重点说说
Realtime API
这个东西,可以理解为是 4o 搭配了 advanced voice 的背后 api。
在以往,常规的带语音的 AI 模型,在处理对话的时候,是遵循以下步骤:
将语音转换成文字(比如使用 whisper 模型)
将文字传输给大模型,并获得文字返回
用 tts 工具,将文字读出来
在很多情况下,这么做是没问题的,但总会觉得别扭,比如我给大模型说
wò caò
wò caǒ
wǒ caò
wǒ caǒ
...
很显然,这几个意思是不一样的。如果我通过「语音 - 文字 - 语音」的方法,并不能准确识别,还可能被认为我手里拿了个草「握草」。但如果是语音 end-end 的做法,则可以准确识别。
同时,也可以发现,这里还有一个可行的项目方向:用语音 end - end 的方式,进行语言训练,比如矫正口音。
另需要注意的是,这个模型...很贵。让他说一分钟的话,需要人民币大概 1.7 元:
这个模型的调用方法,和 gpt 系列不太一样,也不用 openai sdk。具体不展开了,有兴趣的可以看这:
https://platform.openai.com/docs/guides/realtime
官方还配了个例子(我是第4个点赞的,ahhhhh):
https://github.com/openai/openai-realtime-api-beta
另一个(console):https://github.com/openai/openai-realtime-console
最后再吐槽下...截止到成稿的时候,这个 api 都没有真实上线。
再来谈谈
视觉模型微调
这个是有用的,尤其是在工业领域,比如:
医疗领域:拿 CT 影像数据来微调,获得一个看片 bot
安防领域:代替部分的传统 CV 方案,判定实时风险
工业领域:让 AI 通过一定量的样本学习,在流水线或者类似场景中,自动检出残次品/报警
微调的方法极其简单,和聊天发图片差不多。支持 url 或者 base64 传递图片,看这就行了:https://platform.openai.com/docs/guides/fine-tuning/vision
这里有些限制,两个方面:
技术限制:最多 5 万组训练数据,每组最多 10 张图,每张图最大 10 M
合规限制:不允许用人像、人脸以及验证码(CAPTCHAs),以及其他可能违规的数据进行训练
众所周知,微调贵一截,这里是价目表:
以及,这里还有一个限时活动:
GPT-4o:每天前 1M 的微调免费,后续 $25.00/1M tokens.
GPT-4o-mini:每天前 2M 的微调免费,后续 $3.00/1M tokens.
至于...
缓存折扣
说白了,就之前(几分钟~1小时)内问过的问题,再问一遍类似的,重复部分半价。不过,优惠力度不够大,毕竟 Gemini 是输入 2 折;DeepSeek 是输入 1折:《DeepSeek API 创新采用硬盘缓存,价格再降一个数量级》
至于原理和步骤,大概是这样:
启用缓存:如果 prompt 长度超过 1024 tokens,系统会自动启用缓存,并检查 prompt 前部分是否已存储在缓存中
如命中:如找到匹配,则会使用缓存的结果,以降低延迟并减少成本
未命中:如没找到,系统会正常处理,然后缓存当前请求,以便将来使用。
需注意:
缓存启用:无需主动声明,自动启用
缓存时间:通常是 5~10 分钟,高峰时段可能是 1 小时(不可控)
缓存管理:同一组织下,缓存共享,且无法主动清理
内容生成:缓存不会影响 API 生成的最终响应,每次生成是独立的
折扣互斥:Batch API 不享受缓存折扣
其他
本场发布会的主要更新,还是传统开发者 - 拿着 API 或者模型整活的。
Realtime API 等马上(可能就是1天内)上线后,可以多试试,找找感觉,应该有不少场景。
另外的,11 月 21 号的新加坡场作为 OpenAI 的本年度最后一场活动,应该会有一些新东西。到时候我也会去现场,带来第一手的实时报道。