泰国首届 LLM 训练营

Float16.cloud 与 OpenACC、NVIDIA、Siam.ai 和 AIEI 合作举办了本次训练营。

泰国 LLM 训练营将持续 2 天。第一天（2月28日）将在线上举行，第二天将在泰国曼谷 Central World 现场举行。

报名链接（截止日期：2025年2月18日）

参与者将获得专用的 H100 访问权限，由 Siam.ai (NCP) 提供，每人一个实例。

本次训练营将提供端到端 LLM 项目的实践经验。分为 3 个部分

学习如何使用 NVIDIA NeMo 持续微调 LLM 模型，例如 Llama 模型，同时利用 QLoRA 等 PEFT 技术。

第二部分将帮助您减少 LLM 模型的推理资源。我们将专注于减少并平衡模型的能力与性能（模型智能 vs. 每秒 tokens 数）。我们将探索使用 NVIDIA TensorRT-LLM (TRT-LLM) 进行量化。

最后一部分将指导您使用 NVIDIA 团队的最佳实践在生产环境中部署模型。我们将利用 Triton Inference Server 的服务引擎，并使用 inflight batching、context caching 和 paged KV cache 等高级技术。

我们的 Float16 团队负责设置资源并为参与者提供 Jupyter notebooks。除了设置资源外，我们还将担任活动的讲师和助教。

最后，这次训练营是泰国首届 LLM 训练营。Float16 计划在全年本地化和改进训练营，并继续在整个东南亚地区举办 LLM 训练营，不仅限于泰国。