LLM Deployment from an Instance to Cluster
คอร์สนี้เป็นเนื้อหาแบบพรีเมียม ลงทะเบียนด้วยอีเมลของคุณเพื่อรับสิทธิ์เข้าถึง
แจ้งเตือนเมื่อคอร์สเปิด
กรอกอีเมลด้านล่างเพื่อรับการแจ้งเตือนเมื่อคอร์สนี้พร้อมเรียน
สิ่งที่คุณจะได้เรียนรู้
โครงสร้างหลักสูตร
LLM Anatomy
ส่วนประกอบและโครงสร้างพื้นฐานของโมเดล LLM
LLM Serving Framework
เครื่องมือและซอฟต์แวร์สำหรับรันและให้บริการโมเดล LLM
LLM API Compatibility
การตั้งค่า API Endpoint ให้รองรับมาตรฐาน API ยอดนิยม
CPU vs GPU for LLM Serving
การเปรียบเทียบ CPU และ GPU สำหรับ LLM inference
Multi-GPU Serving
เทคนิคการ deploy โมเดลขนาดใหญ่เกิน VRAM ของ GPU หนึ่งใบ
Auto-scaling and Zero-scaling
การออกแบบระบบให้สามารถปรับเพิ่ม/ลดจำนวน container อัตโนมัติ
SLA Metrics
ตัวชี้วัดประสิทธิภาพของการให้บริการ (SLA) สำหรับ LLM
Design Benchmark
วิธีการทดสอบโหลดและการวัดผลระบบ LLM
ทำไมต้องเรียนกับ Float16
ตัวจริง, ใช้จริง, ทำจริง
Float16 เป็นผู้พัฒนา Product เกี่ยวกับ GPU & AI โดยเฉพาะ
ลูกค้าองค์กรชั้นนำ
Toyota, Cariva, Realfact, VISAI AI, AThena AI, Siam AI
การรับประกัน
ขอคืนเงินได้ภายใน 7 วัน หากไม่พอใจกับคอร์ส
ประสบการณ์และความต่อเนื่อง
ประสบการณ์ 8+ ปี
Float16 มีประสบการณ์ด้าน GPU และ AI มากกว่า 8 ปี จากหนึ่งในทีมผู้ก่อตั้ง Easyrice Co., LTD และแยกมาเป็น Float16 Co., LTD
เราดูแล Bare Metal GPU Server H100 ของเราเอง ตั้งแต่ OS, Driver ไปจนถึง Application
กิจกรรมและพัฒนาการ
- 2024:ก่อตั้ง AI/HPC User Group Thailand
- Contributor: SeaLLM v2, TensorRT-LLM
- NVIDIA Bootcamp LLM: อบรม 200 คน
- Official Partner: Typhoon (SCB 10X)