背景
Cloud Native
1 月 20 日晚,DeepSeek(深度求索)公司发布推理模型 DeepSeek-R1 正式版,同步开源模型权重,并允许用户利用模型输出、通过模型蒸馏等方式训练其他模型。网友热评:这,才是真正的 OpenAI。能力相当于一个月 200 美元的 ChatGPT o1 版本,却完全免费。
快速安装 Higress
Cloud Native
仅需一行命令,即可快速在本地搭建好 Higress AI 网关(此步骤需要有 Docker 环境):
curl -sS https://higress.cn/ai-gateway/install.sh | bash
执行以上命令后,会进入引导界面,可以在此处配置 provider 的 apikey,也可以输入回车直接跳过:
import json
from openai import OpenAI
client = OpenAI(
api_key="none",
base_url="http://localhost:8080/v1",
default_headers={"Accept-Encoding": "identity"},
)
completion = client.chat.completions.create(
model="deepseek-chat",
messages=[
{"role": "system", "content": "You are a helpful assistant"},
{"role": "user", "content": "Hello!"}
],
stream=False
)
print(completion.choices[0].message.content)
Hello! How can I assist you today? 😊
从 OpenAI 平滑迁移到 DeepSeek
Cloud Native
7.2 我们致力于提供安全、稳定、持续的服务,保障用户正常使用,但本服务仅以“现状”、“当前功能”的状态提供。尽管我们已经尽了最大努力,但是由于本服务所依赖的技术本身存在的技术瓶颈和科技客观限制,我们不能对以下事项作出任何保证,具体如下:
...
(4)本服务的输入和输出虽已经过过滤审查,但仍不排除无法发现您的输入或本服务输出中存在违规问题,不排除其中部分信息具有瑕疵、存在虚假内容或存在不合理、引发用户不适的地方;
{
"id": "chatcmpl-E45zRLc5hUCxhsda4ODEhjvkEycC9",
"object": "chat.completion",
"model": "from-security-guard",
"choices": [
{
"index": 0,
"message": {
"role": "assistant",
"content": "我不能处理隐私信息"
},
"logprobs": null,
"finish_reason": "stop"
}
],
"usage": {
"prompt_tokens": 0,
"completion_tokens": 0,
"total_tokens": 0
}
}
同时,在内容安全控制台可以查看每一个请求的审计日志:
使用阿里云云原生 API 网关
Cloud Native
阿里云云原生 API 网关是 Higress 的云上托管产品(可以点击原文了解详情)。云原生 API 网关特别推出了 AI API 作为 AI 流量的管理入口: