最近，我在深入研究和优化LLM（大语言模型）的应用链路，发现了许多实用技巧，不仅可以显著降低使用成本，还能有效缩短响应延迟。
这些问题是许多开发者在实际项目中经常遇到的痛点，而找到解决方案后，你会惊讶于优化的效果能给模型性能带来多大的提升。
接下来，我将结合实践经验，分享一些行之有效的方法，帮助你让LLM跑得更快、更高效！
上图是一段讲解 LLM（大语言模型）使用成本和响应延迟的内容。其核心内容包括以下几点：
LLM 的成本构成：
成本主要由输入（input tokens）和输出（output tokens）的 tokens 数量决定。 具体计算公式以 OpenAI 的 GPT-4 Turbo 为例，每 100 万 tokens 输入收费 10 美元，输出收费 30 美元。
响应延迟的计算：
响应延迟与 tokens 数量相关，但计算更复杂。 提供了一种简化公式，指出输入 tokens 的处理时间远小于输出 tokens 的处理时间。
成本与延迟的重点：
输入 tokens 的数量占用 LLM 使用成本的大头，而复杂任务中输出 tokens 的长度对延迟影响显著。 处理一个 output token 的时间是 input token 的约 200 倍。
LLM Agents 的特性：
大约 80% 的 tokens 来自输入，包括初始提示词和推理过程中 Agent 的消耗。 输出 tokens 对于响应时间有更大的影响。
上述整体内容通过数学公式和具体案例，分析了成本和延迟的来源，为优化提供了理论支持。
然而，在线服务场景中，例如聊天机器人，大语言模型（Large Language Model, LLM）推理通常采用流式输出（streaming）的形式。
其中，首个 token 的生成时延（即 Time to First Token, TTFT）是用户感知到的响应时间的关键指标，直接影响整体用户体验。为了提升用户体验，在线服务通常要求首 token 时延尽可能低，理想情况下控制在一秒以内。
LLM 的首 token 时延受到多个因素的影响，包括模型的参数规模、提示词（Prompt）的长度、批处理大小（Batch Size）以及所使用的 GPU 资源等。
本文将深入探讨如何优化首 token 时延，尤其是通过System Prompt Caching 技术降低延迟，为在线服务的性能优化提供实用思路和建议。
1.首 token 时延直接影响用户体验
首 token 时延是用户从发送请求到收到 LLM 推理结果的第一个 token 所需的时间。这是用户感知服务速度的核心指标。
在聊天机器人、实时翻译等场景中，延迟过长会导致用户体验下降，例如对对话流畅性的预期失落。理想的首 token 时延应控制在一秒以内，以提供更流畅的交互体验。
举例：假设用户询问一个问题，如果首 token 响应需要 3 秒，用户可能会认为服务卡顿或不够智能；而一秒以内的响应则会显得迅速且自然。
2.影响首 token 时延的关键因素
首 token 时延受到以下因素的综合影响：
- 模型参数规模：较大的模型（如 GPT-4）由于参数量大，计算复杂度高，生成首 token 的时间通常较长。
- Prompt 长度：输入的提示词越长，模型需要解析和处理的数据越多，从而增加推理时间。
- Batch Size（批处理大小）：批量处理的规模会影响单个请求的响应时间，Batch Size 越大，单个请求的时延可能会增加。
- GPU 资源：硬件性能直接决定了计算速度，使用高性能 GPU（如 A100 或 H100）可以明显降低时延。
举例：在一个在线问答系统中，用户提供一个包含 500 个单词的长提示词，假设模型使用低性能的 GPU，可能需要花费多倍的时间生成第一个 token，与使用更短提示词和高性能硬件相比，响应速度明显受限。
3.System Prompt 重复计算导致的时延问题
在 LLM 推理中，System Prompt 通常是一段较长的输入，用于定义模型的行为和上下文。例如，在聊天机器人中，System Prompt 可能包括角色设定或服务规则。
当用户进行多次请求时，每次推理都需要重复计算这段固定的输入内容，从而造成不必要的计算开销，显著增加了首 token 时延。
举例：某用户连续提问五个相关问题，而每次请求中都需要重新处理相同的 System Prompt，导致浪费大量算力和时间。
4.System Prompt Caching 的优化作用
通过System Prompt Caching 技术，可以将 System Prompt 的计算结果缓存下来，避免重复计算，从而大幅提高首 token 的生成速度。
System Prompt Caching 分为以下两种形式：
- Prefix Sharing：在多用户或多请求场景下，共享计算后的 System Prompt 前缀，减少重复处理。
- Prompt Cache：直接缓存用户的 System Prompt 计算结果，在后续请求中复用。
实际效果：通过使用缓存技术，首 token 时延可以减少 30%-50%，显著提升用户体验。
5.TRT-LLM 推理引擎支持 System Prompt Caching
TRT-LLM 是一款专为 LLM 推理优化的高性能引擎，已经支持 System Prompt Caching 功能。这使得它成为降低首 token 时延的理想选择之一。
优势：在实际测试中，通过启用 System Prompt Caching，生成首 token 的时延显著降低，尤其适用于需要频繁处理长 System Prompt 的场景。
限制：当前版本中，System Prompt Caching 与FP8 KV Cache和INT8 KV Cache功能不兼容，这意味着同时使用这些功能时会遇到冲突。期待在下一个版本中修复这一问题。
6.Triton & TRT-LLM 是推荐的推理解决方案
在 LLM 推理领域，Triton 与TRT-LLM 是推荐的高性能解决方案：
- Triton：支持 RESTFul API，并且支持流式输出（streaming），可以满足各种在线服务的需求。
- TRT-LLM：结合了强大的优化功能，例如 System Prompt Caching 和高效推理引擎，进一步降低时延并提高推理效率。
场景举例： 在电商客服机器人场景中，用户连续提问多个问题，启用 System Prompt Caching 后，可以快速响应每个问题，显著减少用户等待时间，提升交互满意度。
通过这篇文章，我们深入探讨了优化大型语言模型（LLM）推理中首 token 时延的技术关键点，这一指标对提升用户体验至关重要。文章详细介绍了System Prompt Caching 的核心概念，包括前缀共享（Prefix Sharing）和提示缓存（Prompt Cache），作为降低计算负载和减少首 token 生成时间的创新解决方案。
同时，文章还分析了支持该功能的TRT-LLM 推理引擎，特别是在处理长系统提示时所展现的显著性能提升。
这篇内容不仅为开发者和工程师提供了 LLM 性能优化的实际指导，还揭示了未来与其他缓存方法增强兼容性的潜力，表明该领域正在快速进步。
如果您对 LLM 推理性能优化感兴趣，相信本文提供的见解能为您的项目带来启发和价值。随着相关技术的持续发展，更多创新方法将进一步推动 LLM 的高效应用。
