Self-Hosted LLM untuk Enterprise #2

Di bahagian sebelumnya, kita memasang NVIDIA GPU Driver sedia digunakan di mesin EC2 (g5g.xlarge) yang menjalankan Ubuntu 24.04 LTS. Di bahagian ini, kita akan mengaktifkan GPU yang terpasang untuk berfungsi dalam container Docker untuk menyediakan penciptaan LLM API dengan llama.cpp.

Baca bahagian satu di Bahagian 1

Memasang Docker Engine

1. Tambah GPG key Docker

sudo apt-get update
sudo apt-get install -y ca-certificates curl
sudo install -m 0755 -d /etc/apt/keyrings
sudo curl -fsSL https://download.docker.com/linux/ubuntu/gpg -o /etc/apt/keyrings/docker.asc
sudo chmod a+r /etc/apt/keyrings/docker.asc

2. Tambah repository Docker ke apt sources

echo \
  "deb [arch=$(dpkg --print-architecture) signed-by=/etc/apt/keyrings/docker.asc] https://download.docker.com/linux/ubuntu \
  $(. /etc/os-release && echo "${UBUNTU_CODENAME:-$VERSION_CODENAME}") stable" | \
  sudo tee /etc/apt/sources.list.d/docker.list > /dev/null

# Update repo again
sudo apt-get update

3. Pasang Docker Engine dan Docker CLI

sudo apt-get install docker-ce docker-ce-cli containerd.io docker-buildx-plugin docker-compose-plugin

Test pemasangan dengan:

sudo docker run hello-world

Memasang NVIDIA Container Toolkit

1. Tambah NVIDIA Container Toolkit Repository

curl -fsSL https://nvidia.github.io/libnvidia-container/gpgkey | \
  sudo gpg --dearmor -o /usr/share/keyrings/nvidia-container-toolkit-keyring.gpg

curl -s -L https://nvidia.github.io/libnvidia-container/stable/deb/nvidia-container-toolkit.list | \
  sed 's#deb https://#deb [signed-by=/usr/share/keyrings/nvidia-container-toolkit-keyring.gpg] https://#g' | \
  sudo tee /etc/apt/sources.list.d/nvidia-container-toolkit.list

2. Update Package

sudo apt-get update

3. Pasang NVIDIA Container Toolkit

sudo apt-get install -y nvidia-container-toolkit

4. Konfigurasi Docker untuk Melihat GPU

sudo nvidia-ctk runtime configure --runtime=docker
sudo systemctl restart docker

5. Test dengan Docker

sudo docker run --rm --runtime=nvidia --gpus all ubuntu nvidia-smi

Ringkasan Bahagian 2

Memasang Docker Engine daripada repository rasmi
Memasang NVIDIA Container Toolkit untuk mengaktifkan akses GPU Docker
Mentest container boleh menjalankan nvidia-smi dengan jayanya

Di bahagian seterusnya, kita akan mula menjalankan LLM seperti llama.cpp melalui container dan mendedahkannya sebagai API.