成员帖子，最初发表于 Tetrate 博客[1]
行业正在迎接生成式 AI 功能，我们需要进化在行业范围内处理流量的方式。将 AI 流量处理功能仅限于企业许可证，实际上不符合行业的需求。这种做法限制了对单一商业实体及其客户的激励。即使是单一公司的开源倡议，也未能促进多公司之间的开放协作。
这样的共同挑战为开放协作提供了机会，以构建所需的功能。我们相信，通过开放协作汇集不同的用例和需求，将促成更好的解决方案并加速创新。行业将通过跨公司和行业的开放协作而受益于多样化的专业知识和经验。
因此，Tetrate 和 Bloomberg 开始了一项开放协作，旨在为这一新纪元的生成式 AI 集成带来关键功能。我们将在 Envoy 社区中开放协作，通过 Envoy Gateway 和 Envoy Proxy 将 AI 流量处理功能引入 Envoy。
我们为何需要 AI 流量处理功能
LLM 模型的流量与传统 API 流量有什么不同？
表面上看，它们似乎相似。流量来自于发起 API 请求的客户端应用，而这个请求需到达托管 LLM 模型的提供者。
然而，它们是不同的。来自多个应用、指向多个 LLM 提供者的流量管理，带来了新的挑战，传统 API Gateway 功能难以应对。
例如，基于请求数量的传统限流对控制 LLM 提供者的使用无效，因为这些服务在计算上非常复杂。为了测量使用情况，LLM 提供者会对请求消息和响应消息中的单词进行分词，并计算使用的符号数量。这一计算可以很好地近似请求的计算复杂性和服务成本。
除了控制 LLM 的使用外，还有许多与集成便利性和高可用架构相关的挑战。仅仅优化服务质量已不再足够，采用者必须实时考虑使用成本。当生成式 AI 的采用者寻找解决这些挑战的 Gateway 方案时，往往发现所需功能被锁定在企业许可证后面。
三个关键 MVP 功能
现在，让我们看看处理 AI 流量给 Gateways 带来的新挑战。我们与 Bloomberg 的合作伙伴讨论了多个功能，并共同决定了三个关键的 MVP 功能：
使用限制 – 根据单词符号控制 LLM 使用 统一 API – 简化与多个 LLM 提供者的客户端集成 上游授权 – 配置对多个上游 LLM 提供者的授权
你还希望获得哪些其他功能？请与我们联系，分享你的用例，共同定义 Envoy AI Gateway 的未来。
我们对这些功能能够成为 Envoy 的一部分感到非常兴奋。它们将惠及与 LLM 提供者集成的用户，并最终也会使一般 API 请求流量的 Gateway 用户受益。
当谈到 AI Gateway 功能时，我们选择在 CNCF Envoy 项目中进行合作构建，因为我们相信多公司、开源项目将使整个行业受益，促进创新而不产生单一供应商风险。
如何了解更多信息？
通过我们的新闻通讯：注册我们的邮件列表，以保持更新。 参加在线 CNCF 小组活动：想了解更多企业中的 AI 集成，请参加 10 月 17 日由 CNCF 主办的“在大规模下实现 AI 采用 – Envoy AI Gateway 的 AI 平台”现场活动，讨论嘉宾来自 Tetrate 和 Bloomberg。你能够提出问题并与小组进行互动。 在 KubeCon NA 的 Tetrate 展位观看演示：欢迎访问 Tetrate 在 KubeCon NA 的 Q2 展位，观看演示并与负责 AI 流量处理功能的工程师交流。
如果你是服务网格新手，Tetrate Academy 提供一系列免费的在线课程，帮助你快速掌握 Istio 和 Envoy。
你在使用 Kubernetes 吗？Tetrate Enterprise Gateway for Envoy (TEG) 是开始用于生产用例的 Envoy Gateway 的最简单方式。通过 Kubernetes Gateway API 管理，轻松获得 Envoy Proxy 的强大功能。
开始使用 Istio？如果你希望以最可靠的方式将 Istio 推向生产，查看 Tetrate Istio Subscription。它包含运行 Istio 和 Envoy 所需的一切，适用于高度管控和关键任务的生产环境。包括 Tetrate Istio Distro，100% 上游的 Istio 和 Envoy 发行版，符合 FIPS 和 FedRAMP 标准。对于需要无专有供应商依赖的开源 Istio 和 Envoy 的团队，Tetrate 提供唯一的 100% 上游 Istio 企业支持。
Tetrate 博客: https://tetrate.io/blog/tetrate-bloomberg-collaborating-on-envoy-ai-gateway/
点击【阅读原文】阅读网站原文。
CNCF概况（幻灯片）
扫描二维码联系我们！
CNCF (Cloud Native Computing Foundation)成立于2015年12月，隶属于Linux Foundation，是非营利性组织。
CNCF（云原生计算基金会）致力于培育和维护一个厂商中立的开源生态系统，来推广云原生技术。我们通过将最前沿的模式民主化，让这些创新为大众所用。请关注CNCF微信公众号。
