统一的生成式AI接口工具aisuite

文摘   2024-11-26 15:30   湖北  

项目简介

一个统一的生成式AI接口工具,为开发者提供标准化的多LLM调用接口。支持OpenAI、Anthropic、Azure、Google等主流AI服务商,使用类似OpenAI的接口设计,让开发者可以无缝切换不同的LLM提供商进行测试和对比,无需修改代码


与多个生成人工智能提供商的简单、统一的接口。


aisuite使开发人员可以通过标准化接口轻松使用多个LLM 。 aisuite使用类似于 OpenAI 的界面,可以轻松与最流行的LLMs进行交互并比较结果。它是 Python 客户端库的一个薄包装,允许创建者无缝交换和测试来自不同LLM提供商的响应,而无需更改其代码。如今,该库主要专注于聊天完成。我们将在不久的将来将其扩展到更多用例。


目前支持的提供商有 - OpenAI、Anthropic、Azure、Google、AWS、Groq、Mistral、HuggingFace 和 Ollama。为了最大限度地提高稳定性, aisuite使用 HTTP 端点或 SDK 来调用提供商。



安装

您可以仅安装基础aisuite软件包,也可以将提供商的软件包与aisuite一起安装。


这仅安装基础包,而不安装任何提供商的 SDK。

pip install aisuite

这将安装 aisuite 以及 anthropic 的库。

pip install 'aisuite[anthropic]'

这将安装所有特定于提供程序的库

pip install 'aisuite[all]'


设置

首先,您将需要您想要使用的提供商的 API 密钥。您需要单独安装特定于提供程序的库,或者在安装 aisuite 时安装。


API 密钥可以设置为环境变量,也可以作为配置传递给 aisuite 客户端构造函数。您可以使用python-dotenvdirenv等工具手动设置环境变量。请查看examples文件夹以了解用法。


以下是使用aisuite从 gpt-4o 和 claude-3-5-sonnet 生成聊天完成响应的简短示例。

Set the API keys. 设置 API 密钥。

export OPENAI_API_KEY="your-openai-api-key"export ANTHROPIC_API_KEY="your-anthropic-api-key"

使用Python客户端。

import aisuite as aiclient = ai.Client()
models = ["openai:gpt-4o", "anthropic:claude-3-5-sonnet-20240620"]
messages = [ {"role": "system", "content": "Respond in Pirate English."}, {"role": "user", "content": "Tell me a joke."},]
for model in models: response = client.chat.completions.create( model=model, messages=messages, temperature=0.75 ) print(response.choices[0].message.content)

请注意,create() 调用中的模型名称使用格式 - <provider>:<model-name> 。 aisuite将根据提供程序值使用正确的参数调用适当的提供程序。有关提供程序值的列表,您可以查看目录 - aisuite/providers/ 。支持的提供程序列表的格式为 - 该目录中的<provider>_provider.py 。我们欢迎提供商通过在此目录中添加实现文件来添加对此库的支持。请参阅下面的部分了解如何贡献。


有关更多示例,请查看examples目录,您将在其中找到多个笔记本,您可以运行它们来试验该界面。

项目链接

https://github.com/andrewyng/aisuite

扫码加入技术交流群,备注开发语言-城市-昵称

合作请注明


 

关注「GitHubStore」公众号


GitHubStore
分享有意思的开源项目
 最新文章