提示词格式对大语言模型（LLM）性能的影响究竟有多大？
最近的一项研究揭示了一个令人惊讶的事实：不同的提示词格式对LLM的性能有着显著的影响。
这项研究由微软和MIT的研究人员共同完成，他们将相同的提示词内容分别以Markdown、Plain text、YAML和JSON四种格式输入到OpenAI的GPT模型中，结果显示，JSON格式的提示词在某些任务中的准确率竟然是Markdown的两倍！
研究团队在多个任务和数据集上进行了实验，包括自然语言推理、代码生成和翻译等，结果表明，GPT-3.5-turbo在代码翻译任务中的性能因提示词格式的不同而变化高达40%。而更大的模型如GPT-4则对这些变化表现出更强的鲁棒性。
独立AI研究员Guilherme(@guilherme_addr)对此表示惊讶：
「JSON的准确率是Markdown的两倍？这太惊人了。」
研究还发现，即使是同一系列的模型，如GPT-3.5-turbo-0613和GPT-3.5-turbo-16k-0613，它们对提示词格式的偏好也有所不同。
这表明，即使是微小的格式变化，也可能对模型的性能产生重大影响。
Maziyar PANAHI(@MaziyarPanahi)指出：
「当我们要求Claude或任何GPT模型优化提示词时，它们总是使用Markdown。我从未见过LLM建议使用JSON。也许我们应该停止依赖LLM来生成提示词。」
此外，研究团队还强调，不同的提示词格式在不同的任务中表现不同，没有一种格式是普遍最优的。这为未来的提示词工程提出了新的挑战和机遇。
0xultrainstinct💢(@0xUltraInstinct)建议：
「我们应该利用这些统计数据，让LLM为我们生成最佳的提示词。」
这项研究不仅揭示了提示词格式对LLM性能的显著影响，还为未来的提示词设计和优化提供了宝贵的见解。随着LLM的不断发展，我们可能需要重新思考如何与这些智能模型进行最有效的交互。
论文地址：
https://arxiv.org/abs/2411.10541
👇
👇
👇
👇
本文同步自知识星球《AGI Hunt》
星球实时采集和监控推特、油管、discord、电报等平台的热点AI 内容，并基于数个资讯处理的 AI agent 挑选、审核、翻译、总结到星球中。
每天约监控6000 条消息，可节省约800+ 小时的阅读成本；
每天挖掘出10+ 热门的/新的 github 开源 AI 项目；
每天转译、点评 10+ 热门 arxiv AI 前沿论文。
星球非免费。定价99元/年，0.27元/天。(每+100人，+20元。元老福利~）
一是运行有成本，我希望它能自我闭环，这样才能长期稳定运转；
二是对人的挑选，鱼龙混杂不是我想要的，希望找到关注和热爱 AI 的人。
欢迎你的加入！
