Self-Hosted LLMs cho Doanh Nghiệp #2

Trong phần trước, chúng ta đã cài đặt NVIDIA GPU Driver sẵn sàng sử dụng trên máy EC2 (g5g.xlarge) chạy Ubuntu 24.04 LTS. Trong phần này, chúng ta sẽ cho phép GPU đã cài đặt hoạt động trong các Docker container để chuẩn bị cho việc tạo LLM API với llama.cpp.

Đọc phần một tại Phần 1

Cài đặt Docker Engine

1. Thêm GPG key của Docker

sudo apt-get update
sudo apt-get install -y ca-certificates curl
sudo install -m 0755 -d /etc/apt/keyrings
sudo curl -fsSL https://download.docker.com/linux/ubuntu/gpg -o /etc/apt/keyrings/docker.asc
sudo chmod a+r /etc/apt/keyrings/docker.asc

2. Thêm Docker repository vào apt sources

echo \
  "deb [arch=$(dpkg --print-architecture) signed-by=/etc/apt/keyrings/docker.asc] https://download.docker.com/linux/ubuntu \
  $(. /etc/os-release && echo "${UBUNTU_CODENAME:-$VERSION_CODENAME}") stable" | \
  sudo tee /etc/apt/sources.list.d/docker.list > /dev/null

# Cập nhật repo lại
sudo apt-get update

3. Cài đặt Docker Engine và Docker CLI

sudo apt-get install docker-ce docker-ce-cli containerd.io docker-buildx-plugin docker-compose-plugin

Kiểm tra cài đặt với:

sudo docker run hello-world

Cài đặt NVIDIA Container Toolkit

1. Thêm NVIDIA Container Toolkit Repository

curl -fsSL https://nvidia.github.io/libnvidia-container/gpgkey | \
  sudo gpg --dearmor -o /usr/share/keyrings/nvidia-container-toolkit-keyring.gpg

curl -s -L https://nvidia.github.io/libnvidia-container/stable/deb/nvidia-container-toolkit.list | \
  sed 's#deb https://#deb [signed-by=/usr/share/keyrings/nvidia-container-toolkit-keyring.gpg] https://#g' | \
  sudo tee /etc/apt/sources.list.d/nvidia-container-toolkit.list

2. Cập nhật Package

sudo apt-get update

3. Cài đặt NVIDIA Container Toolkit

sudo apt-get install -y nvidia-container-toolkit

4. Cấu hình Docker để Nhìn thấy GPU

sudo nvidia-ctk runtime configure --runtime=docker
sudo systemctl restart docker

5. Kiểm tra với Docker

sudo docker run --rm --runtime=nvidia --gpus all ubuntu nvidia-smi

Tóm Tắt Phần 2

Đã cài đặt Docker Engine từ repository chính thức
Đã cài đặt NVIDIA Container Toolkit để cho phép Docker truy cập GPU
Đã kiểm tra container có thể chạy nvidia-smi thành công

Trong phần tiếp theo, chúng ta sẽ bắt đầu chạy LLM như llama.cpp thông qua container và expose chúng như API.