Bootcamp LLM Thái Lan lần đầu tiên

Float16.cloud đã tham gia đồng tổ chức Bootcamp cùng với OpenACC, NVIDIA, Siam.ai và AIEI.

Bootcamp LLM Thái Lan sẽ diễn ra trong 2 ngày. Ngày 1 (28 Tháng 2) sẽ được tổ chức trực tuyến, và Ngày 2 sẽ được tổ chức trực tiếp tại Central World, Thái Lan.

Liên kết đăng ký (Đóng vào ngày 18 Tháng 2 năm 2025)

Người tham gia sẽ nhận được quyền truy cập vào H100 chuyên dụng, với một instance cho mỗi người, được cung cấp bởi Siam.ai (NCP).

Chương trình

Bootcamp này sẽ cung cấp trải nghiệm thực hành với một dự án LLM từ đầu đến cuối. Được chia thành 3 phần

1.Tiếp tục Fine-Tuning các Mô hình LLM

Học cách tiếp tục fine-tune các mô hình LLM, chẳng hạn như mô hình Llama, với NVIDIA NeMo trong khi tận dụng các kỹ thuật PEFT như QLoRA.

2.Tối ưu hóa các Mô hình LLM

Phần thứ hai sẽ giúp bạn giảm tài nguyên suy luận cho các mô hình LLM. Chúng tôi sẽ tập trung vào việc giảm thiểu và cân bằng khả năng của mô hình với hiệu suất (trí thông minh của mô hình vs. token trên giây). Chúng tôi sẽ khám phá lượng tử hóa bằng cách sử dụng NVIDIA TensorRT-LLM (TRT-LLM).

3.Triển khai Mô hình LLM

Phần cuối cùng sẽ hướng dẫn bạn triển khai mô hình trong môi trường sản xuất bằng cách sử dụng các phương pháp tốt nhất từ đội ngũ NVIDIA. Chúng tôi sẽ tận dụng công cụ serving với Triton Inference Server và sử dụng các kỹ thuật nâng cao như inflight batching, context caching và paged KV cache.

Đội ngũ Float16

Đội ngũ Float16 của chúng tôi chịu tr책nhiệm thiết lập tài nguyên và cung cấp Jupyter notebook cho người tham gia. Ngoài việc thiết lập tài nguyên, chúng tôi cũng sẽ đóng vai trò là giảng viên và trợ giảng cho sự kiện.

Cuối cùng, bootcamp này là bootcamp LLM đầu tiên tại Thái Lan. Float16 có kế hoạch địa phương hóa và cải thiện bootcamp trong suốt cả năm và tiếp tục tổ chức các bootcamp LLM trên khắp Đông Nam Á (SEA), không chỉ giới hạn ở Thái Lan.