共计 3033 个字符，预计需要花费 8 分钟才能阅读完成。
输入ai可见
1、操作系统 Ubuntu 2404 LTSC
2、硬件平台
2.1、i9-13950HX、DDR5 32GB、RTX 3500 Ada Laptop 12GB
3、部署流程
3.1、卸载系统自带的 NVIDIA 驱动
3.2、添加 NVIDIA仓库
3.3、安装最新版的 NVIDIA 驱动与 CUDA
3.3.1、检查 NVIDIA 驱动与 CUDA
3.4、安装 Docker 检查 Docker 是否正确安装
3.5、安装 Ollama for Docker
3.5.1、在 Docker 拉去 Ollama Image
3.6、直接拉取 Ollama 适用的 Deepseek 模型
3.7、浏览器运行 Deepseek
4、其它
4.1、可以随意替换 Ollama 的 Deepseek 模型，只要你硬件够强大
3.1卸载系统自带的驱动
sudo apt purge *nvidia* *cuda* *cudnn* -y sudo apt autoremove -y sudo apt clean reboot
添加官方 NVIDIA 依赖
<code> sudo apt update && sudo apt install -y build-essential dkms linux-headers-$(uname -r) </code>
nvidia-container-toolkit
<code> NVIDIA Container Toolkit
curl -fsSL https://nvidia.github.io/libnvidia-container/gpgkey | sudo gpg --dearmor -o /usr/share/keyrings/nvidia-container-toolkit-keyring.gpg \
&& curl -s -L https://nvidia.github.io/libnvidia-container/stable/deb/nvidia-container-toolkit.list | \
sed 's#deb https://#deb [signed-by=/usr/share/keyrings/nvidia-container-toolkit-keyring.gpg] https://#g' | \
sudo tee /etc/apt/sources.list.d/nvidia-container-toolkit.list
sed -i -e '/experimental/ s/^#//g' /etc/apt/sources.list.d/nvidia-container-toolkit.list
sudo apt-get update
sudo apt-get install -y nvidia-container-toolkit
# sudo nano /etc/docker/daemon.json
{
"runtimes": {
"nvidia": {
"path": "nvidia-container-runtime",
"runtimeArgs": []
}
},
"default-runtime": "nvidia"
}
</code>
添加 NVIDIA 仓库
<code> sudo apt install -y software-properties-common sudo add-apt-repository -y ppa:graphics-drivers/ppa sudo apt update reboot </code>
安装驱动和 CUDA (最新稳定版)
文件名称：NVIDIA-Linux-x86_64-570.144.run
文件大小：376MB
下载声明：本站部分资源来自于网络收集，若侵犯了你的隐私或版权，请及时联系我们删除有关信息。
下载地址：https://cn.download.nvidia.com/XFree86/Linux-x86_64/570.144/NVIDIA-Linux-x86_64-570.144.run
文件名称：cuda_12.8.1_570.124.06_linux.run
文件大小：5.4GB / 5500MB
下载声明：本站部分资源来自于网络收集，若侵犯了你的隐私或版权，请及时联系我们删除有关信息。
下载地址：wget https://developer.download.nvidia.com/compute/cuda/12.8.1/local_installers/cuda_12.8.1_570.124.06_linux.run
sudo apt install -y nvidia-driver-570 sudo apt install -y nvidia-cuda-toolkit reboot
验证 NVIDIA 驱动、CUDA 版本
# 检查驱动 nvidia-smi
检查 CUDA 版本 <code> nvcc --version </code>
检查 CUDA 设备 <code> nvidia-smi -q | grep -i "cuda" </code>
如果你想每秒都知道 GPU 运作情况，请运行
watch -n 1 nvidia-smi
ubuntu 2404 开始安裝 Docker
sudo apt update sudo apt upgrade -y
安装必要的依赖包 <code> sudo apt install -y apt-transport-https ca-certificates curl gnupg-agent software-properties-common </code>
添加 Docker 的官方 GPG 密钥 <code> curl -fsSL https://download.docker.com/linux/ubuntu/gpg | sudo gpg --dearmor -o /etc/apt/trusted.gpg.d/docker.gpg </code>
添加 Docker 的 APT 软件源 <code> sudo add-apt-repository "deb [arch=amd64] https://download.docker.com/linux/ubuntu $(lsb_release -cs) stable" sudo apt update sudo apt upgrade -y </code>
安装 Docker Engine 和 Docker Compose <code> sudo apt install -y docker-ce docker-ce-cli containerd.io </code>
验证 Docker 是否安装成功 <code> sudo docker --version sudo docker run hello-world docker ps -a </code>
将当前用户添加到 Docker 用户组（可选）<code> sudo usermod -aG docker ${USER} </code>
正文完
