最近整理了kubernetes初学者文档,回复K8s获取
Exo 是一个创新的项目,旨在让你在家中运行自己的AI集群,使用日常电子设备。这个项目由 exo-explore 组织维护,具有以下特点:
广泛的模型支持:Exo 支持多种模型,包括 LLaMA、Mistral、LlaVA、Qwen 和 Deepseek。 动态模型分区:Exo 根据当前网络拓扑和设备资源,优化地将模型分割成多个部分,从而能够在单个设备上运行更大的模型。 自动设备发现:Exo 可以自动发现其他设备,并使用最佳方法进行连接,无需手动配置。 ChatGPT-compatible API:Exo 提供了一个与 ChatGPT 兼容的 API,可以轻松在你的硬件上运行模型,只需一行代码修改。 设备平等:与其他分布式推理框架不同,Exo 不使用主从架构,而是使用点对点连接。只要设备连接到网络,就可以用于运行模型。
使用 Exo 快速开始的步骤如下:
安装 Python:确保你的系统安装了 Python 3.12.0 或更高版本,因为之前的版本存在异步 I/O 问题。 获取 Exo 代码:使用以下命令克隆 Exo 项目的代码库: git clone https://github.com/exo-explore/exo.git
cd exo安装依赖项:使用以下命令安装项目所需的依赖项: pip install -r requirements.txt
运行 Exo:在每个设备上运行以下命令:
Exo 将自动发现其他设备并连接到网络。python3 main.py
最近整理了开源合集,回复关键字开源合集获取