AI Bootcamp: LLM Finetuning & Deployment

Pada hari Jumat, 4 Juli 2025, Float16 berkolaborasi dengan tim Typhoon SCB 10X menyelenggarakan AI Bootcamp: LLM Finetuning & Deployment di DistrictX, Gedung FYI. Acara ini menandai pencapaian penting dalam mempromosikan pengembangan teknologi AI di Thailand. Bootcamp mendapat minat yang luar biasa dan berhasil diselesaikan melampaui ekspektasi.

Gambaran Acara

AI Bootcamp adalah program pelatihan praktis seharian penuh yang dirancang untuk membawa peserta dari pemahaman dasar hingga aplikasi praktis Large Language Models (LLM) melalui proses finetuning dan deployment menggunakan tools dan GPU.

Sorotan

🔧 Sesi Pagi: Cara Melakukan Finetune Model LLM Open-Source Typhoon

Pembicara: Surapon Nonesung, Research Scientist di SCB10x

👉 Poin Penting dari Tim Typhoon: 5 Tips untuk Fine-Tuning Mendapatkan Model Berkinerja Tinggi

Habiskan lebih dari 80% waktu Anda untuk persiapan data (karena kualitas data adalah fondasi model yang baik)
Buat setidaknya 2 dataset evaluasi, dengan setidaknya 1 dataset berisi data yang belum pernah dilatih sebelumnya
Gunakan train set dan eval set selama Fine-Tuning untuk memeriksa overfitting
Evaluasi model sebelum dan sesudah Fine-Tuning untuk melihat apakah model benar-benar meningkat
Periksa dan sesuaikan Chat Template yang digunakan, seperti system prompt, format instruction, dll. Template yang baik membantu model menjawab lebih akurat dan berkinerja jauh lebih baik

🚀 Sesi Siang: Cara Deploy Model Typhoon yang Telah Di-finetune di Float16 ServerlessGPU

Pembicara: Matichon Maneegard, Founder di Float16

👉 Poin Penting dari Tim Float16: 3 Teknik untuk Meningkatkan LLM untuk Penggunaan Pengembangan Software Nyata

Pilih format file LLM yang tepat untuk tujuan Anda:
- .safetensors → Untuk HuggingFace, file model-weight, tokenizer, architecture terpisah
- .gguf → Untuk llama-cpp, Ollama, LM-studio - mudah digunakan
- Pilih format berdasarkan tugas:
  - safetensors untuk fine-tuning
  - gguf untuk inference
Implementasikan Kompatibilitas OpenAI API:
- Buat kode yang ada tetap berfungsi tanpa menulis ulang
- Ubah endpoint dari OpenAI untuk menggunakan model kita sendiri
- Hemat biaya dan miliki kontrol penuh
Structured Output (Grammar) meningkatkan kualitas respons:
- Gunakan xgrammar, outlines, guidance untuk mengontrol format respons
- Mode JSON untuk function calling yang akurat
- Definisikan aturan grammar untuk SQL, pilihan opsi, atau format spesifik

Respons Luar Biasa

Dari evaluasi pasca-acara, kami menerima feedback yang lebih baik dari yang diharapkan:

💬 Beberapa Komentar yang Mengesankan

"Saya terkesan dengan keseluruhan aktivitas. Sangat bagus belajar dari orang-orang yang benar-benar bekerja di bidang ini." - Peserta

"Tim SCB10X dan Float16 sangat perhatian dalam memberikan pengetahuan. Manajemennya sangat baik. Matichon dari Float16 mengatur format Lecture & Workshop dengan sangat baik." - Peserta

"Saya sangat menikmati acaranya. Terutama betapa lancar dan terstrukturnya acara ini." - Peserta

Yang Diterima Peserta

🎯 Pengetahuan Praktis

Pengalaman langsung dalam fine-tuning dan deployment LLM
Penggunaan model open-source Typhoon
Teknik untuk meningkatkan LLM untuk pekerjaan Pengembangan Software

💰 Manfaat

100% gratis
GPU Credits dari Float16 senilai 1.000 THB
Sertifikat digital
Makan siang gratis

🤝 Jaringan

Bertemu dan bertukar pengalaman dengan:

Profesor, mahasiswa, peneliti, dan Data Scientist
Engineer dan Developer
Founder startup dan pengusaha

Kami berterima kasih kepada semua orang yang berpartisipasi dalam acara ini, termasuk:

Tim SCB 10X dan NVIDIA atas dukungan penuh mereka
DistrictX untuk menyediakan tempat
Semua peserta yang memberikan feedback dan ide-ide hebat

Float16 berkomitmen untuk menjadi bagian dari mendorong Thailand menjadi pemimpin AI regional. Acara ini hanyalah awal dari membangun komunitas praktisi AI yang kuat dan berkelanjutan.

#AIBootcamp #LLMFinetuning #Float16 #SCB10X #NVIDIA #MachineLearning #AIThailand #Typhoon