Self-Hosted LLM untuk Enterprise #1

Di era dimana Generative AI telah menjadi asisten harian bagi banyak orang, baik untuk menulis kode, menjawab pertanyaan, atau merangkum laporan, banyak organisasi menjadi tertarik untuk menginstal dan menggunakan LLM secara internal untuk privasi, fleksibilitas, dan kontrol biaya. Seri ini akan memandu Anda melalui setup sistem langkah demi langkah, dari menginstal driver hingga menjalankan LLM melalui API di mesin Ubuntu Anda sendiri.

Infrastructure yang dipilih dalam artikel ini akan dari AWS, dan kita akan menggunakan EC2 sebagai mesin untuk Demo kita.

Untuk Instance Type, kita akan menggunakan g5g.xlarge yang memiliki GPU.

1. Temukan nilai $distro dan $arch yang cocok dengan sistem kita

Buka tabel perbandingan dari Official Document

Dari contoh mesin demo kita:

• Ubuntu 24.04 LTS
• Architecture: arm64

Kita mendapatkan nilai:

• $distro = ubuntu2404
• $arch = sbsa
• $arch_ext = sbsa

Jika menggunakan spesifikasi mesin berbeda, periksa nilai untuk mencocokkan mesin Anda.

2. Instal NVIDIA keyring dengan nilai $distro dan $arch dari langkah sebelumnya

# Example: If using Ubuntu 24.04 + ARM64 (from step 1)
wget  https://developer.download.nvidia.com/compute/cuda/repos/ubuntu2404/sbsa/cuda-keyring_1.1-1_all.deb
# Install keyring
sudo dpkg -i cuda-keyring_1.1-1_all.deb
# Update apt index
sudo apt update

3. Instal NVIDIA Proprietary Driver dan CUDA Toolkit

sudo apt install cuda-drivers
sudo apt install cuda-toolkit

4. Periksa Operasi Driver

nvidia-smi

Ringkasan Bagian 1

Di bagian ini, Anda akan memiliki:

• Memeriksa informasi sistem untuk memilih versi driver yang benar
• Menghubungkan Ubuntu ke NVIDIA Repository
• Menginstal NVIDIA proprietary GPU driver dengan mudah menggunakan perintah apt
• Memverifikasi operasi GPU dengan nvidia-smi

Jika Anda mengikuti ini, mesin Anda sekarang siap untuk penggunaan GPU.

---

Selanjutnya: Menggunakan GPU dengan Docker Container

Di bagian selanjutnya, kita akan melihat cara:

• Mengkonfigurasi Docker untuk menggunakan GPU dengan benar
• Menginstal nvidia-container-toolkit
• Menyiapkan environment untuk menjalankan LLM API Work-from-Home atau dalam organisasi

Jangan lewatkan bagian selanjutnya!