AI Bootcamp: Fine-tuning & Triển khai LLM

Vào thứ Sáu, ngày 4 tháng 7 năm 2025, Float16 hợp tác với đội ngũ Typhoon SCB 10X đã tổ chức AI Bootcamp: LLM Finetuning & Deployment tại DistrictX, Tòa nhà FYI. Sự kiện này đánh dấu một cột mốc quan trọng trong việc thúc đẩy phát triển công nghệ AI tại Thái Lan. Bootcamp nhận được sự quan tâm rất lớn và đã hoàn thành thành công vượt mong đợi.

Tổng quan về Sự kiện

AI Bootcamp là một chương trình đào tạo thực hành cả ngày được thiết kế để đưa người tham gia từ hiểu biết cơ bản đến ứng dụng thực tế của Mô hình Ngôn ngữ Lớn (LLM) thông qua các quy trình fine-tuning và triển khai bằng cách sử dụng các công cụ và GPU.

Điểm nổi bật

🔧 Buổi sáng: Cách Fine-tune các LLM Mã nguồn Mở Typhoon

Diễn giả: Surapon Nonesung, Nhà khoa học Nghiên cứu tại SCB10x

👉 Những điểm chính từ Đội ngũ Typhoon: 5 Mẹo Fine-Tuning để Có được Mô hình Hiệu suất Cao

Dành hơn 80% thời gian của bạn cho việc chuẩn bị dữ liệu (vì chất lượng dữ liệu là nền tảng của một mô hình tốt)
Tạo ít nhất 2 bộ dữ liệu đánh giá, với ít nhất 1 bộ dữ liệu chứa dữ liệu chưa bao giờ được huấn luyện trước đây
Sử dụng train set và eval set trong quá trình Fine-Tuning để kiểm tra overfitting
Đánh giá mô hình trước và sau Fine-Tuning để xem liệu mô hình có thực sự cải thiện hay không
Kiểm tra và điều chỉnh Chat Template được sử dụng, chẳng hạn như system prompt, định dạng instruction, v.v. Một template tốt giúp mô hình trả lời chính xác hơn và hoạt động tốt hơn nhiều

🚀 Buổi chiều: Cách Triển khai Mô hình Typhoon đã Fine-tuned của Bạn trên Float16 ServerlessGPU

Diễn giả: Matichon Maneegard, Người sáng lập Float16

👉 Những điểm chính từ Đội ngũ Float16: 3 Kỹ thuật Cải thiện LLM cho Việc Phát triển Phần mềm Thực tế

Chọn đúng định dạng tệp LLM cho mục đích của bạn:
- .safetensors → Cho HuggingFace, tách biệt các tệp model-weight, tokenizer, architecture
- .gguf → Cho llama-cpp, Ollama, LM-studio - dễ sử dụng
- Chọn định dạng dựa trên nhiệm vụ:
  - safetensors cho fine-tuning
  - gguf cho inference
Triển khai Tương thích API OpenAI:
- Làm cho mã hiện có hoạt động mà không cần viết lại
- Thay đổi endpoint từ OpenAI để sử dụng mô hình của chúng ta
- Tiết kiệm chi phí và kiểm soát hoàn toàn
Structured Output (Grammar) cải thiện chất lượng phản hồi:
- Sử dụng xgrammar, outlines, guidance để kiểm soát định dạng phản hồi
- Chế độ JSON cho function calling chính xác
- Xác định quy tắc ngữ pháp cho SQL, lựa chọn tùy chọn hoặc các định dạng cụ thể

Phản hồi Tuyệt vời

Từ các đánh giá sau sự kiện, chúng tôi nhận được phản hồi tốt hơn mong đợi:

💬 Một số Bình luận Ấn tượng

"Tôi ấn tượng với hoạt động tổng thể. Thật tuyệt khi được học hỏi từ những người thực sự làm việc trong lĩnh vực này." - Người tham gia

"Đội ngũ SCB10X và Float16 rất chu đáo trong việc cung cấp kiến thức. Quản lý xuất sắc. Matichon từ Float16 đã tổ chức định dạng Lecture & Workshop rất tốt." - Người tham gia

"Tôi thực sự thích sự kiện này. Đặc biệt là sự kiện diễn ra mượt mà và được sắp xếp tốt như thế nào." - Người tham gia

Những gì Người tham gia Nhận được

🎯 Kiến thức Thực tiễn

Trải nghiệm thực hành trong fine-tuning và triển khai LLM
Sử dụng các mô hình mã nguồn mở Typhoon
Các kỹ thuật cải thiện LLM cho công việc Phát triển Phần mềm

💰 Lợi ích

100% miễn phí
GPU Credits từ Float16 trị giá 1.000 THB
Chứng chỉ kỹ thuật số
Bữa trưa miễn phí

🤝 Mạng lưới

Gặp gỡ và trao đổi kinh nghiệm với:

Giáo sư, sinh viên, nhà nghiên cứu và Nhà khoa học Dữ liệu
Kỹ sư và Nhà phát triển
Người sáng lập startup và doanh nhân

Chúng tôi cảm ơn tất cả những người đã tham gia sự kiện, bao gồm:

Đội ngũ SCB 10X và NVIDIA vì sự hỗ trợ đầy đủ
DistrictX vì đã cung cấp địa điểm
Tất cả người tham gia đã cung cấp phản hồi và ý tưởng tuyệt vời

Float16 cam kết trở thành một phần trong việc thúc đẩy Thái Lan trở thành nhà lãnh đạo AI khu vực. Sự kiện này chỉ là bước khởi đầu trong việc xây dựng một cộng đồng thực hành AI mạnh mẽ và bền vững.

#AIBootcamp #LLMFinetuning #Float16 #SCB10X #NVIDIA #MachineLearning #AIThailand #Typhoon