Bootcamp LLM Thailand Pertama

Float16.cloud telah menjadi bagian dari penyelenggaraan Bootcamp bersama OpenACC, NVIDIA, Siam.ai, dan AIEI.

Bootcamp LLM Thailand akan berlangsung selama 2 hari. Hari 1 (28 Februari) akan diadakan secara online, dan Hari 2 akan diadakan secara langsung di Central World, Thailand.

Link Pendaftaran (Ditutup 18 Feb 2025)

Peserta akan menerima akses khusus ke H100, dengan satu instance per orang, yang disediakan oleh Siam.ai (NCP).

Agenda

Bootcamp ini akan memberikan pengalaman langsung dengan proyek LLM end-to-end. Dibagi menjadi 3 bagian

1.Continue Fine-Tuning Model LLM

Pelajari cara melanjutkan fine-tuning model LLM, seperti model Llama, dengan NVIDIA NeMo sambil memanfaatkan teknik PEFT seperti QLoRA.

2.Optimalkan Model LLM

Bagian kedua akan membantu Anda mengurangi sumber daya inferensi untuk model LLM. Kami akan fokus pada pengurangan dan penyeimbangan kemampuan model dengan performa (kecerdasan model vs. token per detik). Kami akan menjelajahi kuantisasi menggunakan NVIDIA TensorRT-LLM (TRT-LLM).

3.Melayani Model LLM

Bagian terakhir akan memandu Anda dalam men-deploy model di lingkungan produksi menggunakan praktik terbaik dari tim NVIDIA. Kami akan memanfaatkan mesin serving dengan Triton Inference Server dan menggunakan teknik canggih seperti inflight batching, context caching, dan paged KV cache.

Tim Float16

Tim Float16 kami bertanggung jawab untuk menyiapkan sumber daya dan menyediakan Jupyter notebook kepada peserta. Selain menyiapkan sumber daya, kami juga akan berperan sebagai instruktur dan asisten pengajar untuk acara ini.

Terakhir, bootcamp ini adalah bootcamp LLM pertama di Thailand. Float16 berencana untuk melokalisasi dan meningkatkan bootcamp sepanjang tahun dan terus mengadakan bootcamp LLM di seluruh Asia Tenggara (SEA), tidak terbatas pada Thailand saja.