共计 2791 个字符，预计需要花费 7 分钟才能阅读完成。
输入 ai 可见
1、操作系统 Ubuntu 2404 LTSC
2、硬件平台
2.1、i9-13950HX、DDR5 32GB、RTX 3500 Ada Laptop 12GB
3、部署流程
3.1、卸载系统自带的 NVIDIA 驱动
3.2、添加 NVIDIA 仓库
3.3、安装最新版的 NVIDIA 驱动与 CUDA
3.3.1、检查 NVIDIA 驱动与 CUDA
3.4、安装 Docker 检查 Docker 是否正确安装
3.5、安装 Ollama for Docker
3.5.1、在 Docker 拉去 Ollama Image
3.6、直接拉取 Ollama 适用的 Deepseek 模型
3.7、浏览器运行 Deepseek
4、其它
4.1、可以随意替换 Ollama 的 Deepseek 模型，只要你硬件够强大
3.1 卸载系统自带的驱动
sudo apt purge *nvidia* *cuda* *cudnn* -y
sudo apt autoremove -y
sudo apt clean
reboot 添加官方 NVIDIA 依赖
sudo apt update && sudo apt install -y build-essential dkms linux-headers-$(uname -r) nvidia-container-toolkit
NVIDIA Container Toolkit
curl -fsSL https://nvidia.github.io/libnvidia-container/gpgkey | sudo gpg --dearmor -o /usr/share/keyrings/nvidia-container-toolkit-keyring.gpg \
&& curl -s -L https://nvidia.github.io/libnvidia-container/stable/deb/nvidia-container-toolkit.list | \
sed 's#deb https://#deb [signed-by=/usr/share/keyrings/nvidia-container-toolkit-keyring.gpg] https://#g' | \
sudo tee /etc/apt/sources.list.d/nvidia-container-toolkit.list
sed -i -e '/experimental/ s/^#//g' /etc/apt/sources.list.d/nvidia-container-toolkit.list
sudo apt-get update
sudo apt-get install -y nvidia-container-toolkit
# sudo nano /etc/docker/daemon.json
{
"runtimes": {
"nvidia": {
"path": "nvidia-container-runtime",
"runtimeArgs": []}
},
"default-runtime": "nvidia"
}
添加 NVIDIA 仓库
sudo apt install -y software-properties-common
sudo add-apt-repository -y ppa:graphics-drivers/ppa
sudo apt update
reboot
安装驱动和 CUDA (最新稳定版)
文件名称：NVIDIA-Linux-x86_64-570.144.run
文件大小：376MB
下载声明：本站部分资源来自于网络收集，若侵犯了你的隐私或版权，请及时联系我们删除有关信息。
下载地址：https://cn.download.nvidia.com/XFree86/Linux-x86_64/570.144/NVIDIA-Linux-x86_64-570.144.run
文件名称：cuda_12.8.1_570.124.06_linux.run
文件大小：5.4GB / 5500MB
下载声明：本站部分资源来自于网络收集，若侵犯了你的隐私或版权，请及时联系我们删除有关信息。
下载地址：wget https://developer.download.nvidia.com/compute/cuda/12.8.1/local_installers/cuda_12.8.1_570.124.06_linux.run
sudo apt install -y nvidia-driver-570
sudo apt install -y nvidia-cuda-toolkit
reboot 验证 NVIDIA 驱动、CUDA 版本
# 检查驱动 nvidia-smi
检查 CUDA 版本
nvcc --version 检查 CUDA 设备
nvidia-smi -q | grep -i "cuda" 如果你想每秒都知道 GPU 运作情况，请运行
watch -n 1 nvidia-smiubuntu 2404 开始安裝 Docker
sudo apt update
sudo apt upgrade -y 安装必要的依赖包
sudo apt install -y apt-transport-https ca-certificates curl gnupg-agent software-properties-common 添加 Docker 的官方 GPG 密钥
curl -fsSL https://download.docker.com/linux/ubuntu/gpg | sudo gpg --dearmor -o /etc/apt/trusted.gpg.d/docker.gpg 添加 Docker 的 APT 软件源
sudo add-apt-repository "deb [arch=amd64] https://download.docker.com/linux/ubuntu $(lsb_release -cs) stable"
sudo apt update
sudo apt upgrade -y
安装 Docker Engine 和 Docker Compose
sudo apt install -y docker-ce docker-ce-cli containerd.io 验证 Docker 是否安装成功
sudo docker --version
sudo docker run hello-world
docker ps -a 将当前用户添加到 Docker 用户组（可选） sudo usermod -aG docker ${USER} 正文完
