我今天与 OpenAI 的同事分享了以下笔记：
我做出了离开 OpenAI 的艰难决定。这个选择源于我希望进一步关注人工智能对齐，并开启职业生涯的新篇章，重返实际技术工作。我决定在 Anthropic 追求这一目标，我相信我可以获得新的视角，并与深入研究我最感兴趣的主题的人一起进行研究。需要明确的是，我离开并不是因为 OpenAI 缺乏对对齐研究的支持。相反，公司领导一直非常致力于投资这一领域。我的决定是个人决定，基于我希望在职业生涯的下一个阶段集中精力。
近 9 年前，我研究生毕业后加入 OpenAI，成为创始团队的一员。这是我工作过的第一家也是唯一一家公司，除了实习。工作也非常有趣。我很感谢 Sam 和 Greg 在一开始就招募了我，也很感谢 Mira 和 Bob 对我充满信心，给我带来了巨大的机会，帮助我成功应对各种挑战。我为我们在 OpenAI 共同取得的成就感到自豪；我们建立了一家以公益为使命的、不同寻常、前所未有的公司。
我相信，即使没有我，OpenAI 和我所在的团队也将继续蓬勃发展。后期训练工作进展顺利，拥有一批出色的人才。ChatGPT --的功劳很大。Barret 与 Liam、Luke 和其他人一起，将团队建设成现在这样一支非常有能力的团队，这真是太棒了。我很高兴看到协调团队齐心协力，开展了一些有前途的项目。在 Mia、Boaz 和其他人的领导下，我相信团队会非常有能力。
我非常感激有机会参与如此重要的历史时刻，并为我们共同取得的成就感到自豪。即使我在其他地方工作，我仍会支持你们所有人。
接下来，他将专注于啥？
在ICML2023的演讲中，舒曼自述过个人接下来关注的研究方向之一：如何避免过度优化。
ChatGPT 中的一些令人讨厌的行为（例如过度道歉）是过度优化的结果。 RLHF很容易对狭窄的指标进行过度优化，例如模型可能学会了能获得奖励的捷径，但没有真正理解。 适当的对话任务训练需要推理、换位思考和知识，研究人员必须精心设计训练过程、奖励功能和数据集 奖励信号必须评估整个对话的质量，而不仅仅是个别反馈。
