在数智化转型的大潮中，国泰产险以其前瞻性的视角，全面拥抱大模型技术，在外呼、客服、内容生成等多个业务场景中实现了大模型的深度应用。
引言
Cloud Native
背景
Cloud Native
国泰财产保险有限责任公司（简称“国泰产险”）于 2008 年 8 月 28 日在上海创立。公司注册资本 26.3 亿元，在中国东南沿海和中西部地区多个省市设有分支机构，业务范围涵盖短期健康保险、意外伤害保险、财产损失保险、责任保险等非寿险业务的各个领域。国泰产险秉持“客户第一”发展理念，全面拥抱数字化浪潮，开启“科技保险”新篇章，服务于广大家庭和小微企业个性化的保障需求，守护每一家的幸福。一直以来，国泰产险努力打造以客户为中心的科技保险品牌。公司已连续多年蝉联“卓越保险公司”、“最佳服务保险公司”、“数字化转型优秀案例”、“普惠金融优秀案例” 等荣誉称号，以细分市场的价值创新获得高质量发展和市场竞争优势。
随着数智化转型全面推进，国泰各业务应用积极拥抱大模型，在外呼、客服、内容生成等场景均在进行大模型的接入使用。针对不同场景，国泰选择了不同的大模型及接入方式，既有自建的基础模型、又有调用外部厂商的大模型 API，如：通义系列模型、清华智谱等。
核心挑战
Cloud Native
国泰产险在数智化转型过程中面临五大挑战：多模型统一接入、多租与认证鉴权、内容安全、成本管控、审计与风控。
多模型统一接入：在国泰的业务中，针对不用的业务场景，使用了不同的大模型，不同接入方式中请求与响应的数据结构都具有差异，在使用时需要对不同接入方式进行适配，成本极高；
多租与认证鉴权：不同的大模型供应商均需要通过 apikey 作为访问凭证，在对外提供服务时，需要控制不同用户访问大模型的权限，自建认证鉴权人力成本较高；
内容安全：大模型返回内容具有安全风险，可能出现不合规的内容，依赖可靠的检测服务对大模型的输入输出进行检测，以保证对话的内容安全；
成本管控：由于大模型的调用基于 token 进行计费，因此对 token 用量的统计与观测是十分重要的，通过 token 用量的统计能够对成本进行感知与控制；
审计与风控：在出现一些异常情况时，比如 token 消耗过多、对话内容有风险等，需要有内部审计的手段对请求、调用方进行定位以进行风险管控。
解决方案
Cloud Native
针对国泰产险以上业务痛点，阿里云云原生 API 网关均有成熟的解决方案：
5）审计与风控：云原生 API 网关提供了详细的跟踪机制提供审计与风控功能，例如当对话内容有风险时，可以定位到是哪一个请求、哪一个消费者以及哪些关键词触发了风险检测，基于审计结果，用户可以及时对风险进行处理，例如对消费者进行 token 限流、吊销访问权限等操作。
技术优势
Cloud Native
与其他网关相比，云原生 API 网关主要有以下技术优势：高性能、高可用、易扩展以及高可观测。
AI 场景下，经过网关的流量有以下三大特征，是区别于其他业务流量的，分别是：
长连接：由 AI 场景常见的 Websocket 和 SSE 协议决定，长连接的比例很高，要求网关更新配置操作对长连接无影响，不影响业务。
高延时：LLM 推理的响应延时比普通应用要高出很多，使得 AI 应用面向恶意攻击很脆弱，容易被构造慢请求进行并发攻击，攻击者的成本低，但服务端的开销很高。
大带宽：结合 LLM 上下文来回传输，以及高延时的特性，AI 场景对带宽的消耗远超普通应用。如果网关没有实现较好的流式处理能力和内存回收机制，容易导致内存快速上涨。
应对AI流量，阿里云云原生 API 网关基于 envoy 内核，有着天然的优势，分别是：
长连接无损的热更新：不同于 Nginx 变更配置需要 Reload，导致连接断开，Higress 基于 Envoy 实现了连接无损的真正热更新。
安全网关能力：基于 Higress 的安全网关能力可以提供 IP/Cookie 等多维度的 CC 防护能力，面向 AI 场景，除了QPS，还支持面向 Token 吞吐的限流防护。
高效的流式传输：Higress 支持完全流式转发，并且数据面是基于 C++ 编写的 Envoy，在大带宽场景下，所需的内存占用极低。内存虽然相比 GPU 很廉价，但内存控制不当导致 OOM，导致业务宕机，损失不可估量。
在云原生 API 网关自身的可用性方面，云原生 API 网关通过多可用区容灾、弹性扩缩、故障自愈等，免去了自建基础设施的可用性问题，提供了 99.95% 的 SLA 保障率。
Token 与请求次数统计
结语
Cloud Native
