Bootcamp LLM Thailand Pertama

Float16.cloud telah menjadi sebahagian daripada penganjuran Bootcamp bersama OpenACC, NVIDIA, Siam.ai, dan AIEI.

Bootcamp LLM Thailand akan berlangsung selama 2 hari. Hari 1 (28 Februari) akan diadakan secara dalam talian, dan Hari 2 akan diadakan secara langsung di Central World, Thailand.

Pautan Pendaftaran (Ditutup 18 Feb 2025)

Peserta akan menerima akses khas ke H100, dengan satu instance setiap orang, yang disediakan oleh Siam.ai (NCP).

Agenda

Bootcamp ini akan memberikan pengalaman langsung dengan projek LLM end-to-end. Dibahagikan kepada 3 bahagian

1.Continue Fine-Tuning Model LLM

Pelajari cara meneruskan fine-tuning model LLM, seperti model Llama, dengan NVIDIA NeMo sambil memanfaatkan teknik PEFT seperti QLoRA.

2.Optimumkan Model LLM

Bahagian kedua akan membantu anda mengurangkan sumber inferensi untuk model LLM. Kami akan fokus pada pengurangan dan pengimbangan keupayaan model dengan prestasi (kepintaran model vs. token per saat). Kami akan meneroka kuantisasi menggunakan NVIDIA TensorRT-LLM (TRT-LLM).

3.Melayan Model LLM

Bahagian terakhir akan membimbing anda dalam men-deploy model di persekitaran pengeluaran menggunakan praktik terbaik daripada pasukan NVIDIA. Kami akan memanfaatkan mesin serving dengan Triton Inference Server dan menggunakan teknik canggih seperti inflight batching, context caching, dan paged KV cache.

Pasukan Float16

Pasukan Float16 kami bertanggungjawab untuk menyediakan sumber dan menyediakan Jupyter notebook kepada peserta. Selain menyediakan sumber, kami juga akan berperanan sebagai instruktur dan pembantu pengajar untuk acara ini.

Akhir sekali, bootcamp ini adalah bootcamp LLM pertama di Thailand. Float16 merancang untuk melokalkan dan meningkatkan bootcamp sepanjang tahun dan terus mengadakan bootcamp LLM di seluruh Asia Tenggara (SEA), tidak terhad kepada Thailand sahaja.