Serverless GPU, GPU Grants và Nhiều Hơn Nữa 🤯
Xin chào mọi người. Mati đây 👋👋
Đã lâu kể từ lần cập nhật mới nhất. (Triển khai một cú nhấp chuột)
Hôm nay, tôi có một bản cập nhật rất lớn về Float16.cloud.
Serverless GPU
Đầu tiên, chúng tôi tự hào thông báo dịch vụ "Serverless GPU" của chúng tôi, được hỗ trợ bởi H100.
Tính Năng Chính
- Không cần thay đổi code—tạm biệt Docker images 👋
- Khởi động lạnh nhanh nhất thế giới, dưới 100ms
- Chế độ triển khai cho AI inference (Vui lòng xem các ví dụ)
- Chế độ Spot cho AI training
Điểm Khác Biệt Chính Giữa Serverless GPU của Chúng Tôi và Các Dịch Vụ Khác
Nguyên tắc Thiết kế, Chúng tôi thiết kế Serverless GPU của chúng tôi để tương thích với các script server truyền thống, chẳng hạn như script server FastAPI.
Các nhà phát triển không cần thay đổi code của họ để sử dụng Serverless GPU của chúng tôi.
Ngoài việc không thay đổi code, bạn có thể tạm biệt Docker images. Trong khi một số nền tảng serverless GPU cũng cung cấp không thay đổi code, họ yêu cầu bạn gửi Docker image đến server của họ. Quá trình này có thể rất cồng kềnh và làm chậm tốc độ triển khai. Chúng tôi nhận ra vấn đề này và đã loại bỏ sự đánh đổi này.
Dịch vụ của chúng tôi chỉ yêu cầu script và tệp requirements.txt để thực hiện các nhiệm vụ cho bạn. Bí mật của quá trình này là môi trường cơ sở của chúng tôi, đi kèm được xây dựng sẵn với các thư viện và dependencies cần thiết, chẳng hạn như:
- Transformer Engine (cho NVIDIA NeMo và mixed-precision training)
- PyTorch-based NVIDIA NGC
- NVIDIA Triton Inference Server, NVIDIA Rapids Stack, NVIDIA Curator
- Transformers (Hugging Face)
- LlamaCPP, ExllamaV2, OpenCV
Thiết lập này cung cấp trải nghiệm tương tự như sử dụng Google Colab về dependencies được xây dựng sẵn.
Các Ví Dụ Serverless GPU
Các ví dụ là điều cần thiết để bắt đầu với bất kỳ dịch vụ nào. Chúng tôi đã tạo một kho GitHub công khai để chứng minh cách sử dụng dịch vụ của chúng tôi.
Ngoài các ví dụ "chính thức" của chúng tôi, chúng tôi hoan nghênh "người đóng góp" muốn chứng minh cách sử dụng Serverless GPU của chúng tôi. Chúng tôi cũng cung cấp GPU Grants cho "người đóng góp" (xem phần tiếp theo).
Các ví dụ và template Đóng góp
Chi tiết về Serverless GPU
GPU Grants
Chúng tôi nhằm đẩy nhanh tác động trong hệ sinh thái, mang lại lợi ích cho cả nhà nghiên cứu và kỹ sư.
Chúng tôi đã quyết định thông báo Yêu cầu về Grants (RFG) để cung cấp tín dụng GPU cho "BẤT KỲ" loại nghiên cứu nào. Điều này cũng bao gồm các nhà phát triển muốn tạo bài viết blog, nội dung, benchmark, v.v.
Liên kết Discord : https://discord.gg/j2DVTMjr67
Kêu Gọi Đối Tác
Chúng tôi đang tìm kiếm đối tác trong 3 danh mục:
Các Công Ty Tư Vấn
Cách chúng tôi có thể giúp đỡ:
- Các trường hợp sử dụng
- Kiến trúc tham khảo
- Công cụ demo
Software Houses và System Integrators (SI)
Cách chúng tôi có thể giúp đỡ:
- Tín dụng GPU
- Kiến trúc tham khảo
- Quan hệ nhà phát triển
Nền Tảng Học Tập
Cách chúng tôi có thể giúp đỡ:
- Giảm giá phù hợp
- Đề cương khóa học
- Chuyên môn lĩnh vực
Vui lòng liên hệ trực tiếp với tôi : matichon[dot]man[at]float16[dot]cloud
Trung Tâm Tin Cậy
Chúng tôi đã hoàn thành SOC2 và Trung Tâm Tin Cậy với Vanta.
Liên Hệ Float16
- Medium : Float16.cloud
- Facebook : Float16.cloud
- X : Float16.cloud
- Discord : Float16.cloud
- Youtube : Float16.cloud
