我做了两个 JSON:涵盖各模型接口信息

科技   2024-07-22 21:40   广东  

前情提要:

全军覆没:国产大模型,都没做好 OpenAI 兼容

大模型真实速度一览(附:测试脚本)


这段时间

我在疯狂测各种接口


本着不重复造轮子的原则

我把测试用的配置放 git 了

就是各模型 name 和 base_url

https://github.com/CocoSgt/LLMs_info


包含俩文件

models_info.json

包含不同大预言模型的信息

如品牌、费用和最大上下文长度,类似:

{    "Baichuan": {        "base_url": "https://api.baichuan-ai.com/v1",        "chinese_name": "百川"    },    "DeepSeek": {        "base_url": "https://api.deepseek.com",        "chinese_name": "深度求索"    },    "Moonshot": {        "base_url": "https://api.moonshot.cn/v1",        "chinese_name": "月之暗面"    }...}


companies_info.json

包含提供这些模型的公司的信息

包括用于 OpenAI SDK 的 base_url,类似:

{    "Baichuan3-turbo": {        "brand": "Baichuan",        "input_cost": 12,        "output_cost": 12,        "currency": "CNY",        "max_context_length": 32768,        "max_output_length": 2048    },...}


写代码的时

可直接 requests.get(url) 拿 raw 文件

来获取这些信息,然后调用

import requestsimport json
def fetch_json_from_url(url): response = requests.get(url) return json.loads(response.text)
models_info = fetch_json_from_url("https://raw.githubusercontent.com/CocoSgt/LLMs_info/main/models_info.json")companies_info = fetch_json_from_url("https://raw.githubusercontent.com/CocoSgt/LLMs_info/main/companies_info.json")



有啥用

方便批量测试,无需到处找文档

(API 还得用自己的)

比如这个:)



后续

数据还不全,我会把他更新好


持续更新: 

有些模型,在文档里没找到具体数值,得手动测试才能更新。

比如,4k 指的是 4095,4096,还是 4000?


更多模型: 

如有更多模型支持 OpenAI SDK,我也会同步更新上


打算写一份更清晰的文档

很多模型的文档不好找(比如:Qwen),我打算重写一份,分享给大家

估摸要花点时间,因为很多的文档行为是错的,甚至 OpenAI 的文档也有不少错误,得人工修正

赛博禅心
拜AI古佛,修赛博禅心
 最新文章