AI 训练营：LLM 微调与部署

2025年7月4日星期五，Float16 与 Typhoon SCB 10X 团队合作，在 FYI 大厦 DistrictX 举办了 AI 训练营：LLM 微调与部署。此次活动标志着推动泰国 AI 技术发展的重要里程碑。训练营受到了热烈的关注，并成功完成，超出了预期。

活动概览

AI 训练营是一个全天的实践培训计划，旨在让参与者从基本理解到使用工具和 GPU 通过微调和部署过程实际应用大型语言模型（LLM）。

亮点

🔧 上午场：如何微调 Typhoon 开源 LLM

演讲者： Surapon Nonesung，SCB10x 研究科学家

👉 来自 Typhoon 团队的关键要点：获得高性能模型的微调 5 个技巧

1. 在数据准备上花费超过 80% 的时间（因为数据质量是好模型的基础）
2. 至少创建 2 个评估数据集，其中至少 1 个数据集包含从未训练过的数据
3. 在微调期间使用训练集和评估集以检查过拟合
4. 在微调前后评估模型，看看模型是否真的有所改进
5. 检查并调整使用的聊天模板，例如系统提示、指令格式等。好的模板可以帮助模型更准确地回答并表现得更好

🚀 下午场：如何在 Float16 ServerlessGPU 上部署您微调的 Typhoon 模型

演讲者： Matichon Maneegard，Float16 创始人

👉 来自 Float16 团队的关键要点：改进 LLM 用于实际软件开发的 3 个技巧

1. 根据您的目的选择正确的 LLM 文件格式：
   • .safetensors → 用于 HuggingFace，单独的模型权重、分词器、架构文件
   • .gguf → 用于 llama-cpp、Ollama、LM-studio - 易于使用
   • 根据任务选择格式：
     • 用于微调的 safetensors
     • 用于推理的 gguf
2. 实现 OpenAI API 兼容性：
   • 使现有代码无需重写即可工作
   • 将端点从 OpenAI 更改为使用我们自己的模型
   • 节省成本并拥有完全控制权
3. 结构化输出（Grammar）改进响应质量：
   • 使用 xgrammar、outlines、guidance 来控制响应格式
   • JSON 模式用于准确的函数调用
   • 为 SQL、选项选择或特定格式定义语法规则

出色的反馈

从活动后的评估来看，我们收到了超出预期的反馈：

💬 一些令人印象深刻的评论

"我对整体活动印象深刻。能够向实际在该领域工作的人学习真是太好了。" - 参与者

"SCB10X 和 Float16 团队在提供知识方面非常细心。管理非常出色。来自 Float16 的 Matichon 组织的讲座和研讨会形式非常好。" - 参与者

"我真的很喜欢这个活动。特别是活动进行得多么顺利和精简。" - 参与者

---

参与者获得了什么

🎯 实践知识

• 微调和部署 LLM 的实践经验
• 使用 Typhoon 开源模型
• 改进 LLM 用于软件开发工作的技巧

💰 福利

• 100% 免费
• 来自 Float16 的价值 1,000 泰铢的 GPU 积分
• 数字证书
• 免费午餐

🤝 网络

与以下人员会面并交流经验：

• 教授、学生、研究人员和数据科学家
• 工程师和开发人员
• 创业公司创始人和企业家

---

我们感谢所有参与活动的人，包括：

• SCB 10X 和 NVIDIA 团队的全力支持
• DistrictX 提供场地
• 所有提供反馈和好主意的参与者

Float16 致力于成为推动泰国成为区域 AI 领导者的一部分。这次活动只是建立强大且可持续的 AI 从业者社区的开始。

#AIBootcamp #LLMFinetuning #Float16 #SCB10X #NVIDIA #MachineLearning #AIThailand #Typhoon