无服务器 GPU、GPU 赠款等更多内容
大家好。Mati 在这里
距离最后一次更新（一键部署）已经有一段时间了。
今天，我有一个关于 Float16.cloud 的非常大的更新。
无服务器 GPU
首先，我们很自豪地宣布我们的"无服务器 GPU"服务，由 H100 提供支持。
主要功能
- 无需代码更改——告别 Docker 镜像
- 世界上最快的冷启动，低于 100ms
- 用于 AI 推理的部署模式（请参阅示例）
- 用于 AI 训练的 Spot 模式
我们的无服务器 GPU 与其他无服务器 GPU 的主要区别
设计原则，我们设计的无服务器 GPU 兼容传统服务器脚本，例如 FastAPI 服务器脚本。
开发者无需更改他们的代码即可使用我们的无服务器 GPU。
除了零代码更改外，您可以告别 Docker 镜像。虽然某些无服务器 GPU 平台也提供零代码更改，但它们要求您将 Docker 镜像传送到他们的服务器。这个过程可能非常麻烦，并且会减慢部署速度。我们认识到了这个问题，并已经消除了这种权衡。
我们的服务只需要脚本和 requirements.txt 文件即可为您执行任务。这个过程的秘密是我们的基础环境，它预先构建了必要的库和依赖项，例如：
- Transformer Engine（用于 NVIDIA NeMo 和混合精度训练）
- 基于 PyTorch 的 NVIDIA NGC
- NVIDIA Triton Inference Server、NVIDIA Rapids Stack、NVIDIA Curator
- Transformers（Hugging Face）
- LlamaCPP、ExllamaV2、OpenCV
这种设置在预构建依赖项方面提供了类似于使用 Google Colab 的体验。
无服务器 GPU 示例
示例对于开始使用任何服务都是必不可少的。我们创建了一个公共 GitHub 存储库来演示如何使用我们的服务。
除了我们的**"官方"示例外，我们还欢迎想要演示如何使用我们的无服务器 GPU 的"贡献者"**。我们还为"贡献者"提供 GPU 赠款（请参阅下一部分）。
示例和贡献模板
关于无服务器 GPU 的详细信息
GPU 赠款
我们的目标是加速生态系统内的影响，使研究人员和工程师都受益。
我们决定宣布赠款请求（RFG），为"任何"类型的研究提供 GPU 积分。这也涵盖了想要创建博客文章、内容、基准测试等的开发者。
Discord 链接：https://discord.gg/j2DVTMjr67
寻求合作伙伴
我们正在寻找 3 个类别的合作伙伴：
咨询机构
我们如何提供帮助：
- 用例
- 参考架构
- 演示工具
软件公司和系统集成商（SI）
我们如何提供帮助：
- GPU 积分
- 参考架构
- 开发者关系
学习平台
我们如何提供帮助：
- 匹配折扣
- 课程大纲
- 领域专业知识
请直接联系我：matichon[dot]man[at]float16[dot]cloud
信任中心
我们已经通过 Vanta 完成了 SOC2 和信任中心。
联系 Float16
- Medium : Float16.cloud
- Facebook : Float16.cloud
- X : Float16.cloud
- Discord : Float16.cloud
- Youtube : Float16.cloud
