1.实时 API-构建低延迟的语音转语音应用
2.提示缓存（Prompt Caching）—— 更经济更快速
| 模型 | 版本 | 未缓存输入Token | 缓存输入Token | 输出Token |
|---|---|---|---|---|
| GPT-4o | gpt-4o-2024-08-06 | $2.50 | $1.25 | $10.00 |
| GPT-4o微调 | $3.75 | $1.875 | $15.00 | |
| GPT-4o mini | gpt-4o-mini-2024-07-18 | $0.15 | $0.075 | $0.60 |
| GPT-4o mini微调 | $0.30 | $0.15 | $1.20 | |
| o1 | o1-preview | $15.00 | $7.50 | $60.00 |
| o1 mini | $3.00 | $1.50 | $12.00 |
usage: {
total_tokens: 2306,
prompt_tokens: 2006,
completion_tokens: 300,
prompt_tokens_details: {
cached_tokens: 1920,
audio_tokens: 0,
},
completion_tokens_details: {
reasoning_tokens: 0,
audio_tokens: 0,
}
}
3.模型蒸馏工具套件——微调出更具性价比的模型
创建评估
使用存储完成创建蒸馏数据集
response = client.chat.completions.create(
model="gpt-4o",
messages=[
{
"role": "user",
"content": [
{
"type": "text",
"text": "what's the capital of the USA?"
}
]
}
],
store=True,
metadata={"username": "user123", "user_id": "123", "session_id": "123"}
)
微调GPT-4o mini
4.视觉微调 ——支持通过图像和文本对 GPT-4o 进行微调，以提高视觉功能
Grab案例：
视觉微调 GPT-4o 模型成功标记限速标志，而 GPT-4o 基本模型却错误地标记了该标志。
5.Playground 新功能——更快构建原型应用
本次开发者大会虽然全新的东西不多，却更加关注生态开发者实际需要，更倾向于帮助开发者更快，更经济的使用这些技术探索落地应用。这也是OpenAI向商业性公司转头的一个体现吧。
参考资料
Introducing the Realtime API: https://openai.com/index/introducing-the-realtime-api/
[2]Prompt Caching in the API: https://openai.com/index/api-prompt-caching/
[3]Model Distillation in the API: https://openai.com/index/api-model-distillation/
[4]Introducing vision to the fine-tuning API: https://openai.com/index/api-model-distillation/
近期原创文章：
为什么LLM无法真正推理？OpenAI的o1也无法改变这一事实 原创 克制大模型怪脾气的新招——基于意图的提示校准降低LLM提示敏感度问题，让大模型表现更稳定 原创 Anthropic提出Contextual Retrieval让RAG再进化，大幅降低检索失败率 原创 测试时计算vs.预训练计算:LLM进化的重大转折 原创 AI"破解"AI：来自Claude协助的OpenAI o1模型架构图 OpenAI o1模型推理能力大幅提升的背后：重复采样如何提升AI推理能力 OpenAI前研究科学家开源面向未来的提示工程库 ell，重新定义提示工程 揭秘MemoRAG：AI记忆模块如何提升生成质量
