11.8k star,用你自己闲置的设备来构建你自己的AI集群,强!

文摘   2024-11-11 09:09   上海  

最近整理了kubernetes初学者文档,回复K8s获取

Exo 是一个创新的项目,旨在让你在家中运行自己的AI集群,使用日常电子设备。这个项目由 exo-explore 组织维护,具有以下特点:

  1. 广泛的模型支持:Exo 支持多种模型,包括 LLaMA、Mistral、LlaVA、Qwen 和 Deepseek。
  2. 动态模型分区:Exo 根据当前网络拓扑和设备资源,优化地将模型分割成多个部分,从而能够在单个设备上运行更大的模型。
  3. 自动设备发现:Exo 可以自动发现其他设备,并使用最佳方法进行连接,无需手动配置。
  4. ChatGPT-compatible API:Exo 提供了一个与 ChatGPT 兼容的 API,可以轻松在你的硬件上运行模型,只需一行代码修改。
  5. 设备平等:与其他分布式推理框架不同,Exo 不使用主从架构,而是使用点对点连接。只要设备连接到网络,就可以用于运行模型。

使用 Exo 快速开始的步骤如下:

  1. 安装 Python:确保你的系统安装了 Python 3.12.0 或更高版本,因为之前的版本存在异步 I/O 问题。
  2. 获取 Exo 代码:使用以下命令克隆 Exo 项目的代码库:
    git clone https://github.com/exo-explore/exo.git
    cd exo
  3. 安装依赖项:使用以下命令安装项目所需的依赖项:
    pip install -r requirements.txt
  4. 运行 Exo:在每个设备上运行以下命令:
    python3 main.py
    Exo 将自动发现其他设备并连接到网络。

最近整理了开源合集,回复关键字开源合集获取


大侠之运维
分享关于运维的资料、工作经验、日常感悟。
 最新文章