Self-Hosted LLM untuk Enterprise #2

Di bagian sebelumnya, kita menginstal NVIDIA GPU Driver siap digunakan di mesin EC2 (g5g.xlarge) yang menjalankan Ubuntu 24.04 LTS. Di bagian ini, kita akan mengaktifkan GPU yang terinstal untuk bekerja dalam container Docker untuk mempersiapkan pembuatan LLM API dengan llama.cpp.

Baca bagian satu di Bagian 1

Menginstal Docker Engine

1. Tambahkan GPG key Docker

sudo apt-get update
sudo apt-get install -y ca-certificates curl
sudo install -m 0755 -d /etc/apt/keyrings
sudo curl -fsSL https://download.docker.com/linux/ubuntu/gpg -o /etc/apt/keyrings/docker.asc
sudo chmod a+r /etc/apt/keyrings/docker.asc

2. Tambahkan repository Docker ke apt sources

echo \
  "deb [arch=$(dpkg --print-architecture) signed-by=/etc/apt/keyrings/docker.asc] https://download.docker.com/linux/ubuntu \
  $(. /etc/os-release && echo "${UBUNTU_CODENAME:-$VERSION_CODENAME}") stable" | \
  sudo tee /etc/apt/sources.list.d/docker.list > /dev/null

# Update repo again
sudo apt-get update

3. Instal Docker Engine dan Docker CLI

sudo apt-get install docker-ce docker-ce-cli containerd.io docker-buildx-plugin docker-compose-plugin

Test instalasi dengan:

sudo docker run hello-world

Menginstal NVIDIA Container Toolkit

1. Tambahkan NVIDIA Container Toolkit Repository

curl -fsSL https://nvidia.github.io/libnvidia-container/gpgkey | \
  sudo gpg --dearmor -o /usr/share/keyrings/nvidia-container-toolkit-keyring.gpg

curl -s -L https://nvidia.github.io/libnvidia-container/stable/deb/nvidia-container-toolkit.list | \
  sed 's#deb https://#deb [signed-by=/usr/share/keyrings/nvidia-container-toolkit-keyring.gpg] https://#g' | \
  sudo tee /etc/apt/sources.list.d/nvidia-container-toolkit.list

2. Update Package

sudo apt-get update

3. Instal NVIDIA Container Toolkit

sudo apt-get install -y nvidia-container-toolkit

4. Konfigurasi Docker untuk Melihat GPU

sudo nvidia-ctk runtime configure --runtime=docker
sudo systemctl restart docker

5. Test dengan Docker

sudo docker run --rm --runtime=nvidia --gpus all ubuntu nvidia-smi

Ringkasan Bagian 2

• Menginstal Docker Engine dari repository official
• Menginstal NVIDIA Container Toolkit untuk mengaktifkan akses GPU Docker
• Mentest container dapat menjalankan nvidia-smi dengan sukses

Di bagian selanjutnya, kita akan mulai menjalankan LLM seperti llama.cpp melalui container dan mengeksposnya sebagai API.