OpenAI 发布 Prover-Verifier Games（证明者-验证者游戏），提高了语言模型输出的可读性。
https://openai.com/index/prover-verifier-games-improve-legibility/
研究概述：
OpenAI的新研究通过“证明者-验证者游戏”提升了语言模型的输出可读性。这项技术不仅让AI生成的文本对人类更易于评估，也使得这些文本对其他AI系统同样易于验证。
研究重要性：
在处理复杂任务时，如数学问题解答，生成易于理解的文本对于确保AI对人们有所帮助至关重要。OpenAI发现，当仅仅为了得到正确答案而优化强大模型的问题解决过程时，产生的解决方案可能变得更难理解，也就是说强大的语言模型专注于产生正确答案时，其解决方案可能反而变得难以理解。事实上，当OpenAI 要求时间有限的人类评估者评估这些高度优化的解决方案时，他们的错误率几乎是评估较少优化解决方案时的两倍。这一发现强调了 AI 生成文本不仅要正确，还要清晰易验证的重要性。
OpenAI认为理解和解决性能/可读性平衡问题可以带来更有效和值得信赖的 AI 应用，这将有利于精确和清晰沟通至关重要的广泛领域。
研究思路：
通过优化提高可读性，OpenAI优化了小学数学问题的解题思路，使其可以被较弱模型验证，并研究这是否使它们对人类更具可读性。这种训练过程受到证明者-验证者游戏的启发，这是一种博弈论框架，鼓励学习代理以可验证的方式解决决策问题。OpenAI的方法实现了仅优化答案正确性时所看到的性能提升的一半，同时保持了人类评估者准确评估解决方案的能力。OpenAI相信，进一步缩小可读模型和能力模型之间的性能差距是未来对齐研究的重要目标。
证明者-验证者游戏机制：
证明者：负责生成解决方案。
验证者：负责检查这些解决方案的准确性。
这一框架鼓励模型以一种可验证的方式解决问题，确保输出不仅正确，而且易于理解。
训练过程：
生成解决方案：证明者模型生成多种解决方案，其中一些可能是错误的。
多轮训练：交替进行验证者和证明者的训练。
验证者训练：训练弱验证者模型预测解决方案的正确性。
证明者训练：证明者模型在“有帮助”和“狡猾”的角色间切换，以生成能误导验证者的解决方案。
关键发现：
1. 性能与可读性的平衡：通过可核查性游戏方法，研究者实现了高可读性和适度准确性的平衡。
2. 三种模型的角色：
鲁棒验证者：即使面对具有误导性的解决方案，也能区分正确与错误。
有帮助的证明者：生成易于人类理解的解决方案，减少评估错误。
狡猾的证明者：生成能误导人类评估者的不正确解决方案，为模型改进提供方向。
工作原理：
为了激励强大的模型，即证明者，产生对人类易于理解的文本，OpenAI使用一种训练方案，要求强大的模型产生解决方案，这些方案可以被更弱的模型，即验证者，轻松验证。具体来说，OpenAI使用了GPT-4家族中的大型和小型模型，它们在预训练计算上大约有3个数量级的差异，这些模型都经过了少量的人类编写的数学推导的监督训练，但没有经过广泛的后期训练。
首先，OpenAI从证明者模型生成多个数学问题的解决方案，其中一些解决方案由于证明者模型自然发生的错误而不正确。然后OpenAI在两个阶段之间交替进行多轮：
验证者训练。OpenAI训练弱验证者模型预测证明者生成的解决方案的正确性。
证明者训练。OpenAI指示强大的证明者模型扮演“有帮助”或“狡猾”的角色。
在有帮助的角色中，OpenAI根据验证者的评分奖励正确的解决方案。
在狡猾的角色中，OpenAI反而奖励根据验证者评分高的错误解决方案。
OpenAI发现，最初，狡猾的证明者很容易就能产生能够说服验证者的错误解决方案。然而，由于OpenAI 将这些错误的解决方案添加到下一轮验证者训练中，同样的漏洞在下一轮就不再有说服力了，证明者被迫在每一轮中探索不同的策略。当狡猾的证明者不能再产生能够说服验证者的错误解决方案时，训练结束。
结论：
这项研究强调了大型语言模型在关键领域和复杂应用中输出的可信性。通过要求模型产生清晰和可验证的理由，OpenAI 增强了对它们输出的信任。这种方法减少了对人类演示或判断的依赖，对实现未来超级智能AI系统的自主对齐具有重要意义。
尽管这项工作目前只在单一数据集上进行了实验，并且需要真实标签，但预期这种方法将有助于开发输出不仅正确而且可透明验证的AI系统，从而在现实世界中增强信任和安全性。
OpenAI 如何优化大语言模型（LLMs）准确性和行为一致性的详细指南，包括优化策略、方法和在实际应用中的考量
原文链接：https://platform.openai.com/docs/guides/optimizing-llm-accuracy/how-much-accuracy-is-good-enough-for-production
理解优化的难点
优化的难点通常在于：
如何开始提高准确性。
何时使用哪种优化方法。
何种准确度水平适合生产环境。
优化的心理模型
不要将优化看作是简单的线性流程，而是要将其视为一个矩阵，其中包括：
上下文优化：当模型缺乏上下文知识时，需要优化上下文，以提高响应的准确性。
LLM优化：当模型产生不一致的结果或推理不一致时，需要优化LLM，以提高行为的一致性。
优化流程示例
例如，OpenAI 可能从设计提示开始，然后评估其性能，添加静态的少量示例以提高结果的一致性，然后添加检索步骤以动态引入少量示例，最后通过微调模型来提高一致性。
提示工程
提示工程是开始优化的最佳起点，尤其适用于摘要、翻译和代码生成等用例，这些用例可以通过零样本方法达到生产级别的准确性和一致性。
优化策略
优化提示时，可以使用以下策略：
编写清晰的指令。
将复杂任务拆分为更简单的子任务。
给GPT足够的“思考”时间。
系统地测试变更。
提供参考文本。
使用外部工具。
评估与工具理解
在优化过程中，评估是关键。一个好提示应该配备一套评估问题和标准答案，以建立准确的基线。此外，诊断模型失败的原因和选择最佳工具来改进也是重要的步骤。
增强检索生成（RAG）
RAG是在生成答案之前，先检索内容以增强LLM的提示。它用于为模型提供特定领域的上下文，以解决任务。
微调
微调是通过在较小的、特定领域的数据集上继续训练LLM来解决学习记忆问题的过程。微调通常有两个目的：
提高特定任务的模型准确性。
提高模型效率。
生产中的准确度
在生产中，确定何时足够准确并管理风险是关键。这包括：
确定业务和技术背景下的准确度。
通过评估和迭代来提高准确度。
结论
本文提供了一个高层次的心理模型，用于思考如何最大化LLMs的准确性，实现它的工具，以及决定何时足够准确的生产方法。通过这些框架和工具，你可以一致地进入生产环境。如果想了解其他人如何使用这些方法取得成果，可以查看OpenAI 的客户故事，例如摩根士丹利和Klarna的用例，展示了通过利用这些技术实现的成果。
OpenAI 发布 GPT-4o mini，替代 GPT-3.5，对话偏好表现优于 GPT-4o
原文：https://openai.com/index/gpt-4o-mini-advancing-cost-efficient-intelligence/
OpenAI 致力于让智能尽可能广泛地普及。宣布推出 GPT-4o mini，这是OpenAI 最具成本效益的小型模型。OpenAI 期望 GPT-4o mini 将通过大幅降低智能成本，显著扩展 AI 应用的范围。GPT-4o mini 在 MMLU 上得分为 82%，目前在 LMSYS 排行榜上的对话偏好上表现优于 GPT-4o。它的价格为每百万输入标记 15 美分和每百万输出标记 60 美分，比之前的前沿模型便宜了一个数量级，比 GPT-3.5 Turbo 便宜超过 60%。
GPT-4o mini 以其低成本和低延迟支持广泛的任务，例如链式或并行多个模型调用的应用（例如，调用多个 API），向模型传递大量上下文（例如，完整的代码库或对话历史），或通过快速、实时的文本响应与客户互动（例如，客户支持聊天机器人）。
GPT-4o mini 在 API 中支持文本和视觉，未来将支持文本、图像、视频和音频的输入和输出。该模型的上下文窗口为 128K 标记，每次请求支持最多 16K 输出标记，并拥有截至 2023 年 10 月的知识。得益于与 GPT-4o 共享的改进的标记器，处理非英语文本的成本现在更加低廉。
具有卓越文本智能和多模态推理的小型模型
GPT-4o mini 在学术基准测试中超越了 GPT-3.5 Turbo 和其他小型模型，在文本智能和多模态推理方面表现优异，并支持与 GPT-4o 相同的语言范围。它在函数调用方面表现强劲，开发人员可以利用它构建与外部系统获取数据或执行操作的应用程序，并且在长上下文性能方面优于 GPT-3.5 Turbo。
GPT-4o mini 在多个关键基准测试中表现出色。
推理任务：GPT-4o mini 在涉及文本和视觉的推理任务中表现优于其他小型模型，在 MMLU（文本智能和推理基准测试）上的得分为 82.0%，而 Gemini Flash 为 77.9%，Claude Haiku 为 73.8%。
数学和编码能力：GPT-4o mini 在数学推理和编码任务中表现出色，优于市场上的其他小型模型。在 MGSM（数学推理测量）上，GPT-4o mini 的得分为 87.0%，而 Gemini Flash 为 75.5%，Claude Haiku 为 71.7%。GPT-4o mini 在 HumanEval（编码性能测量）上的得分为 87.2%，而 Gemini Flash 为 71.5%，Claude Haiku 为 75.9%。
多模态推理：GPT-4o mini 在 MMMU（多模态推理评估）上的得分为 59.4%，而 Gemini Flash 为 56.1%，Claude Haiku 为 50.2%。
作为模型开发过程的一部分，OpenAI 与一些受信任的合作伙伴合作，以更好地了解 GPT-4o mini 的用例和局限性。OpenAI 与 Ramp 和 Superhuman 等公司合作，发现 GPT-4o mini 在从收据文件中提取结构化数据或在提供线程历史记录时生成高质量电子邮件响应方面，比 GPT-3.5 Turbo 表现显著更好。
内置的安全措施
安全性从一开始就内置于OpenAI 的模型中，并在开发过程的每一步中得到加强。在预训练中，OpenAI 过滤掉不希望模型学习或输出的信息，例如仇恨言论、成人内容、主要聚合个人信息的网站和垃圾邮件。在后训练中，OpenAI 使用强化学习与人类反馈（RLHF）等技术来对齐模型行为，以提高模型响应的准确性和可靠性。
GPT-4o mini 具有与 GPT-4o 相同的内置安全措施，OpenAI 使用自动和人工评估根据OpenAI 的准备框架仔细评估了这些措施，并与OpenAI 的自愿承诺一致。超过 70 名社会心理学和错误信息等领域的外部专家测试了 GPT-4o，以识别潜在风险，OpenAI 已经解决了这些问题，并计划在即将发布的 GPT-4o 系统卡和准备得分卡中分享详细信息。这些专家评估的见解帮助OpenAI 提高了 GPT-4o 和 GPT-4o mini 的安全性。
基于这些学习成果，OpenAI 的团队还使用新技术改进了 GPT-4o mini 的安全性，这些技术是从OpenAI 的研究中获得的。API 中的 GPT-4o mini 是第一个应用OpenAI 的指令层次方法的模型，该方法有助于提高模型抵抗越狱、提示注入和系统提示提取的能力。这使得模型的响应更加可靠，并有助于在大规模应用中更安全地使用。
OpenAI 将继续监控 GPT-4o mini 的使用情况，并在识别新风险时改进模型的安全性。
可用性和定价
GPT-4o mini 现在在 Assistants API、Chat Completions API 和 Batch API 中可用，作为文本和视觉模型。开发人员支付每百万输入标记 15 美分和每百万输出标记 60 美分（大约相当于一本标准书籍中的 2500 页）。OpenAI 计划在未来几天推出 GPT-4o mini 的微调功能。
在 ChatGPT 中，免费、Plus 和团队用户将从今天开始可以访问 GPT-4o mini，以替代 GPT-3.5。企业用户也将从下周开始访问，这与OpenAI 让 AI 的好处惠及所有人的使命一致。
接下来是什么
在过去的几年里，OpenAI 见证了 AI 智能的显著进步和成本的显著降低。例如，GPT-4o mini 的每个标记成本自 2022 年推出的能力较低的模型 text-davinci-003 以来已经下降了 99%。OpenAI 致力于继续沿着这一轨迹，降低成本，同时提高模型能力。
OpenAI 设想未来的模型将无缝集成到每个应用程序和每个网站中。GPT-4o mini 正在为开发人员更高效、更经济地构建和扩展强大的 AI 应用铺平道路。AI 的未来正在变得更加可访问、可靠，并融入OpenAI 的日常数字体验中，OpenAI 很高兴继续引领这一趋势。
OpenAI 和博通正在洽谈开发新型 AI 芯片
原文：媒体报道
OpenAI正在与包括博通在内的半导体设计公司洽谈开发新型芯片，以减少对英伟达的依赖并加强其供应链。
这些谈判是由该公司联合创始人兼首席执行官萨姆·奥特曼牵头的，旨在加强运行日益强大的AI模型所需的组件和基础设施的供应。
“AI的限制因素是容量：芯片容量、能源容量、计算容量。[OpenAI]不会坐视他人构建这些东西，而他们却处在前线。”一位了解OpenAI计划的人士说道。
奥特曼与芯片制造商、合作伙伴（包括微软）、政府机构和财务支持者进行了接触，以提高容量并保持其公司在这项由其旧金山公司在2022年底发布的ChatGPT聊天机器人引发的技术热潮中的中心地位。
据知情人士称，OpenAI与博通的谈判主要集中在博通在开发新型芯片方面可能扮演的角色。这些谈判处于早期阶段，OpenAI已经“在整个行业内进行了接触”。
OpenAI在声明中表示：“OpenAI正在与行业和政府利益相关者进行持续对话，以增加获得确保AI广泛可及性所需基础设施的机会。这包括与顶级芯片设计师、制造商和数据中心的实体开发商合作。”
博通未回应置评请求。
强大的半导体是顶级AI公司中最抢手的商品。OpenAI、微软及其主要竞争对手Anthropic和谷歌特别依赖英伟达最先进的图形处理单元来训练和运行其模型。
OpenAI在短期内不太可能与英伟达的技术实力竞争，但该公司一直在探索各种方式以在追求通用人工智能（能在一系列认知任务上超越人类的AI）方面变得更加自力更生。
据知情人士称，即便有微软承诺的130亿美元支持，这家初创公司仍需外部财务支持或商业合作伙伴关系才能实现其计划。
“可以公平地说，做这些事情需要巨额资金。”该人士表示。
