Bootcamp LLM ครั้งแรกในประเทศไทย

Float16.cloud ได้เป็นส่วนหนึ่งในการจัดงาน Bootcamp ร่วมกับ OpenACC, NVIDIA, Siam.ai และ AIEI

Bootcamp LLM ของประเทศไทยจะจัดขึ้น 2 วัน โดยวันแรก (28 กุมภาพันธ์) จะจัดแบบออนไลน์ และวันที่สองจะจัดแบบออฟไลน์ที่ Central World ประเทศไทย

ลิงก์ลงทะเบียน (ปิดรับ 18 ก.พ. 2025)

ผู้เข้าร่วมจะได้รับการเข้าถึง H100 แบบเฉพาะบุคคล โดยมีอินสแตนซ์หนึ่งตัวต่อคน จัดหาโดย Siam.ai (NCP)

กำหนดการ

Bootcamp นี้จะให้ประสบการณ์ hands-on กับโปรเจกต์ LLM แบบ end-to-end โดยแบ่งออกเป็น 3 ส่วน

1.Continue Fine-Tuning โมเดล LLM

เรียนรู้วิธีการ continue fine-tuning โมเดล LLM เช่น โมเดล Llama ด้วย NVIDIA NeMo พร้อมใช้เทคนิค PEFT เช่น QLoRA

2.ปรับปรุงประสิทธิภาพโมเดล LLM

ส่วนที่สองจะช่วยให้คุณลดทรัพยากรการ inference สำหรับโมเดล LLM เราจะเน้นการลดและสร้างสมดุลของความสามารถของโมเดลกับประสิทธิภาพ (ความฉลาดของโมเดล vs. tokens ต่อวินาที) เราจะสำรวจการ quantization โดยใช้ NVIDIA TensorRT-LLM (TRT-LLM)

3.การให้บริการโมเดล LLM

ส่วนสุดท้ายจะแนะนำคุณในการ deploy โมเดลในสภาพแวดล้อม production โดยใช้ best practices จากทีม NVIDIA เราจะใช้ serving engine กับ Triton Inference Server และใช้เทคนิคขั้นสูงเช่น inflight batching, context caching และ paged KV cache

ทีม Float16

ทีม Float16 ของเรารับผิดชอบการตั้งค่าทรัพยากรและจัดหา Jupyter notebooks ให้กับผู้เข้าร่วม นอกจากการตั้งค่าทรัพยากรแล้ว เรายังจะทำหน้าที่เป็นผู้สอนและ TA สำหรับงานนี้ด้วย

สุดท้าย bootcamp นี้เป็น bootcamp LLM แห่งแรกในประเทศไทย Float16 วางแผนที่จะ localize และปรับปรุง bootcamp ตลอดทั้งปี และจะจัด bootcamp LLM อย่างต่อเนื่องทั่วเอเชียตะวันออกเฉียงใต้ (SEA) ไม่จำกัดแค่ประเทศไทย