企业自托管 LLM #2

在上一部分中，我们在运行 Ubuntu 24.04 LTS 的 EC2 机器（g5g.xlarge）上安装了 NVIDIA GPU 驱动程序，可供使用。在这一部分中，我们将启用已安装的 GPU 在 Docker 容器中工作，以准备使用 llama.cpp 创建 LLM API。

阅读第一部分：第 1 部分

安装 Docker Engine

1. 添加 Docker 的 GPG 密钥

sudo apt-get update
sudo apt-get install -y ca-certificates curl
sudo install -m 0755 -d /etc/apt/keyrings
sudo curl -fsSL https://download.docker.com/linux/ubuntu/gpg -o /etc/apt/keyrings/docker.asc
sudo chmod a+r /etc/apt/keyrings/docker.asc

2. 将 Docker 存储库添加到 apt 源

echo \
  "deb [arch=$(dpkg --print-architecture) signed-by=/etc/apt/keyrings/docker.asc] https://download.docker.com/linux/ubuntu \
  $(. /etc/os-release && echo "${UBUNTU_CODENAME:-$VERSION_CODENAME}") stable" | \
  sudo tee /etc/apt/sources.list.d/docker.list > /dev/null

# 再次更新存储库
sudo apt-get update

3. 安装 Docker Engine 和 Docker CLI

sudo apt-get install docker-ce docker-ce-cli containerd.io docker-buildx-plugin docker-compose-plugin

测试安装：

sudo docker run hello-world

安装 NVIDIA Container Toolkit

1. 添加 NVIDIA Container Toolkit 存储库

curl -fsSL https://nvidia.github.io/libnvidia-container/gpgkey | \
  sudo gpg --dearmor -o /usr/share/keyrings/nvidia-container-toolkit-keyring.gpg

curl -s -L https://nvidia.github.io/libnvidia-container/stable/deb/nvidia-container-toolkit.list | \
  sed 's#deb https://#deb [signed-by=/usr/share/keyrings/nvidia-container-toolkit-keyring.gpg] https://#g' | \
  sudo tee /etc/apt/sources.list.d/nvidia-container-toolkit.list

2. 更新包

sudo apt-get update

3. 安装 NVIDIA Container Toolkit

sudo apt-get install -y nvidia-container-toolkit

4. 配置 Docker 以识别 GPU

sudo nvidia-ctk runtime configure --runtime=docker
sudo systemctl restart docker

5. 使用 Docker 测试

sudo docker run --rm --runtime=nvidia --gpus all ubuntu nvidia-smi

第 2 部分总结

从官方存储库安装 Docker Engine
安装 NVIDIA Container Toolkit 以启用 Docker GPU 访问
测试容器可以成功运行 nvidia-smi

在下一部分中，我们将开始通过容器运行 LLM，如 llama.cpp，并将它们公开为 API。