AI服务器环境搭建指南,从裸机到“战斗”机(下集)

科技   2025-01-14 16:20   中国香港  

目录


  • 显卡驱动

  • CUDA

  • cuDNN

  • scikit-learn

  • 自建pip源

  • pytorch

  • SQlite

  • Mysql


大家好,我是章北海

计划用3篇文章(上中下)介绍如何将一台裸机服务器打造成AI服务器

本文为最后一篇,内容包括:显卡驱动 cuda 机器学习/深度学习环境 数据库安装配置等相关内容

原计划大模型离线部署一起写,略麻烦,下篇详细写

显卡驱动、CUDA、cuDNN

安装优先级: 显卡驱动 → CUDA →  cuDNN

  • 显卡驱动:提供操作系统与 NVIDIA 显卡之间的通信接口,是使用 CUDA 和 cuDNN 的基础。
  • CUDA:提供并行计算平台和编程模型,使开发者能够利用 GPU 进行高性能计算,CUDA 是连接显卡驱动和应用程序的桥梁。
  • cuDNN:提供优化的深度学习库,加速深度学习框架中的常见操作,依赖于 CUDA。

显卡驱动

  1. 通过本地yum源安装kernel-devel,kernel-headers,gcc等工具包
sudo dnf install gcc kernel-devel kernel-headers make
  1. 根据自己的显卡类型找到显卡驱动并下载run文件https://www.nvidia.cn/drivers/lookup/下载run文件

  2. 禁用默认安装的 Nouveau 驱动程序。在终端中输入以下命令:

sudo tee /etc/modprobe.d/blacklist-nouveau.conf <<EOF blacklist nouveau options nouveau modeset=0 EOF
  1. 重新生成 initramfs 文件以确保 Nouveau 驱动程序被禁用。执行以下命令:sudo dracut --force 重启系统,在 Grub 启动菜单中选择 “recovery mode” 进入恢复模式。在恢复模式下,选择 “root” 访问权限以获取 root 权限。

  2. 上传run文件到内网服务器,切到文件所在目录,运行以下命令以安装 Nvidia 驱动程序:

sudo sh NVIDIA-Linux-x86_64-xxx.xx.run
  1. 完成安装后,用nvidia-smi验证

CUDA

下载cuda:https://developer.nvidia.com/cuda-downloads

查看支持的cuda版本,下载.run文件比较省事,传入内网直接sh运行

  • 如果对于CUDA版本没有要求,一般选择一个不高于本机支持的最高CUDA版本安装即可,然后按照CUDA版本去下载对应的cuDNN版本
wget https://developer.download.nvidia.com/compute/cuda/12.6.2/local_installers/cuda_12.6.2_560.35.03_linux.run
sudo sh cuda_12.6.2_560.35.03_linux.run

机器学习算法与Python实战
长期跟踪关注统计学、数据挖掘、机器学习算法、深度学习、人工智能技术与行业发展动态,分享Python、机器学习等技术文章。回复机器学习有惊喜资料。
 最新文章