Self-Hosted LLM untuk Enterprise #1

Dalam era di mana Generative AI telah menjadi pembantu harian bagi ramai orang, sama ada untuk menulis kod, menjawab soalan, atau merumuskan laporan, ramai organisasi menjadi berminat untuk memasang dan menggunakan LLM secara dalaman untuk privasi, fleksibiliti, dan kawalan kos. Siri ini akan membimbing anda melalui setup sistem langkah demi langkah, daripada memasang driver sehingga menjalankan LLM melalui API di mesin Ubuntu anda sendiri.

Infrastructure yang dipilih dalam artikel ini akan daripada AWS, dan kita akan menggunakan EC2 sebagai mesin untuk Demo kita.

Untuk Instance Type, kita akan menggunakan g5g.xlarge yang mempunyai GPU.

1. Cari nilai $distro dan $arch yang sesuai dengan sistem kita

Buka jadual perbandingan daripada Official Document

Daripada contoh mesin demo kita:

• Ubuntu 24.04 LTS
• Architecture: arm64

Kita mendapat nilai:

• $distro = ubuntu2404
• $arch = sbsa
• $arch_ext = sbsa

Jika menggunakan spesifikasi mesin berbeza, periksa nilai untuk menyesuaikan mesin anda.

2. Pasang NVIDIA keyring dengan nilai $distro dan $arch daripada langkah sebelumnya

# Example: If using Ubuntu 24.04 + ARM64 (from step 1)
wget  https://developer.download.nvidia.com/compute/cuda/repos/ubuntu2404/sbsa/cuda-keyring_1.1-1_all.deb
# Install keyring
sudo dpkg -i cuda-keyring_1.1-1_all.deb
# Update apt index
sudo apt update

3. Pasang NVIDIA Proprietary Driver dan CUDA Toolkit

sudo apt install cuda-drivers
sudo apt install cuda-toolkit

4. Periksa Operasi Driver

nvidia-smi

Ringkasan Bahagian 1

Di bahagian ini, anda akan mempunyai:

• Memeriksa maklumat sistem untuk memilih versi driver yang betul
• Menghubungkan Ubuntu ke NVIDIA Repository
• Memasang NVIDIA proprietary GPU driver dengan mudah menggunakan arahan apt
• Mengesahkan operasi GPU dengan nvidia-smi

Jika anda mengikuti ini, mesin anda kini sedia untuk penggunaan GPU.

---

Seterusnya: Menggunakan GPU dengan Docker Container

Di bahagian seterusnya, kita akan melihat cara:

• Mengkonfigurasi Docker untuk menggunakan GPU dengan betul
• Memasang nvidia-container-toolkit
• Menyediakan persekitaran untuk menjalankan LLM API Work-from-Home atau dalam organisasi

Jangan lepaskan bahagian seterusnya!