OpenAI正在悄无声息地构建一个全方位的AI开发生态系统。
最近，OpenAI推出了新的追踪和评估功能，这看似简单的更新背后，却暗藏着他们的野心勃勃。让我们来一探究竟，看看OpenAI到底在酝酿什么大动作。
追踪功能：轻松捕获AI对话
OpenAI的追踪功能简直就是给开发者们送了一份大礼。只需在API调用中加上store=True参数，系统就会自动记录输入、输出和token使用情况。
不过，细心的开发者可能会发现，这个追踪功能还是有点"小气"的。它不记录一些重要的API参数，比如stream、temperature和logprobs等。
为啥呢？
OpenAI的真实目的可能是为了收集数据集，用于评估和潜在的模型微调。
评估功能：一键搞定模型性能
有了数据，自然就要评估。
OpenAI的评估功能虽然看起来简单，但它为常见的应用场景（比如聊天机器人开发）提供了一套便捷的工具。最赞的是，那些自动捕获的输入输出对已经被整理成了jsonl格式，可以直接用于常见的评估任务。
OpenAI提供的评估类型覆盖面相当广，从分类到情感分析，再到文本生成质量评估，基本上涵盖了主流的AI应用场景。
数据共享：免费评估的诱惑
OpenAI还玩了一手妙棋：如果你愿意分享你的评估数据，他们就让你免费运行评估。这个操作可谓一石二鸟：既吸引了开发者使用他们的平台，又为自己收集了宝贵的应用场景数据。
不得不说，真是聪明啊！
模型微调：闭环生态的最后一步
OpenAI显然不满足于此，他们还把微调功能也整合进来了。系统会自动选择收集到的追踪数据作为训练集，让整个流程无缝衔接。
虽然目前微调功能还有些小毛病（比如不会详细说明任务失败的原因），但OpenAI的野心已经昭然若揭。
OpenAI的野心：全方位AI开发平台
综上可见，OpenAI的战略方向已经非常清晰了：
自动捕获输入输出
从捕获的数据创建数据集
运行评估，比较不同模型的性能
使用数据集对其他模型进行微调
这一系列动作无不指向一个目标：打造一个全方位的LLM运营平台。
对开发者来说，这可谓是个甜蜜的诱惑。
如果你打算在可预见的未来都stick to OpenAI的模型家族，那这套工具链绝对能让你事半功倍。
但是，这种"一条龙"服务也意味着你可能会被深度绑定在OpenAI的生态系统中。
是否要接受这种"绑定"，需要开发者们慎重考虑。
当然，如果你不想被锁定在OpenAI的生态中，市面上也有一些开源的替代方案，比如Karthik提到的Langtrace AI项目。
OpenAI这俨然是要在AI开发领域一统天下的节奏。
你觉得他们能成功吗？
👇
👇
👇
👇
本文同步自于知识星球《AGI Hunt》
星球实时采集和监控推特、油管、discord、电报等平台的热点AI 内容，并基于数个资讯处理的 AI agent 挑选、审核、翻译、总结到星球中。
每天约监控6000 条消息，可节省约800+ 小时的阅读成本；
每天挖掘出10+ 热门的/新的 github 开源 AI 项目；
每天转译、点评 10+ 热门 arxiv AI 前沿论文。
星球非免费。定价99元/年，0.27元/天。(每+100人，+20元。元老福利~）
一是运行有成本，我希望它能自我闭环，这样才能长期稳定运转；
二是对人的挑选，鱼龙混杂不是我想要的，希望找到关注和热爱 AI 的人。
欢迎你的加入！
