目录
显卡驱动
CUDA
cuDNN
scikit-learn
自建pip源
pytorch
SQlite
Mysql
大家好,我是章北海
计划用3篇文章(上中下)介绍如何将一台裸机服务器打造成AI服务器
本文为最后一篇,内容包括:显卡驱动 cuda 机器学习/深度学习环境 数据库安装配置等相关内容
原计划大模型离线部署一起写,略麻烦,下篇详细写
显卡驱动、CUDA、cuDNN
安装优先级: 显卡驱动 → CUDA → cuDNN
显卡驱动:提供操作系统与 NVIDIA 显卡之间的通信接口,是使用 CUDA 和 cuDNN 的基础。 CUDA:提供并行计算平台和编程模型,使开发者能够利用 GPU 进行高性能计算,CUDA 是连接显卡驱动和应用程序的桥梁。 cuDNN:提供优化的深度学习库,加速深度学习框架中的常见操作,依赖于 CUDA。
显卡驱动
通过本地yum源安装 kernel-devel,kernel-headers,gcc
等工具包
sudo dnf install gcc kernel-devel kernel-headers make
根据自己的显卡类型找到显卡驱动并下载run文件
https://www.nvidia.cn/drivers/lookup/
下载run文件
禁用默认安装的 Nouveau 驱动程序。在终端中输入以下命令:
sudo tee /etc/modprobe.d/blacklist-nouveau.conf <<EOF blacklist nouveau options nouveau modeset=0 EOF
重新生成 initramfs 文件以确保 Nouveau 驱动程序被禁用。执行以下命令:sudo dracut --force 重启系统,在 Grub 启动菜单中选择 “recovery mode” 进入恢复模式。在恢复模式下,选择 “root” 访问权限以获取 root 权限。
上传run文件到内网服务器,切到文件所在目录,运行以下命令以安装 Nvidia 驱动程序:
sudo sh NVIDIA-Linux-x86_64-xxx.xx.run
完成安装后,用nvidia-smi验证
CUDA
下载cuda:https://developer.nvidia.com/cuda-downloads
查看支持的cuda版本,下载.run文件比较省事,传入内网直接sh运行
❝
如果对于CUDA版本没有要求,一般选择一个不高于本机支持的最高CUDA版本安装即可,然后按照CUDA版本去下载对应的cuDNN版本
wget https://developer.download.nvidia.com/compute/cuda/12.6.2/local_installers/cuda_12.6.2_560.35.03_linux.run
sudo sh cuda_12.6.2_560.35.03_linux.run