Serverless GPU, GPU Grants dan Banyak Lagi 🤯
Halo Semuanya. Mati di Sini 👋👋
Sudah beberapa waktu sejak update terakhir. (One-click deployment)
Hari ini, saya punya update yang sangat besar tentang Float16.cloud.
Serverless GPU
Pertama, kami dengan bangga mengumumkan layanan "Serverless GPU" kami, yang didukung oleh H100.
Fitur Utama
- Tidak perlu perubahan kode—ucapkan selamat tinggal pada Docker images 👋
- Cold start tercepat di dunia, di bawah 100ms
- Mode deployment untuk AI inference (Silakan lihat contoh)
- Mode spot untuk AI training
Pembeda Utama Antara Serverless GPU Kami dan Lainnya
Prinsip Desain, Kami merancang Serverless GPU kami agar kompatibel dengan script server tradisional, seperti script server FastAPI.
Developer tidak perlu mengubah kode mereka untuk menggunakan Serverless GPU kami.
Selain tidak ada perubahan kode, Anda dapat mengucapkan selamat tinggal pada Docker images. Meskipun beberapa platform serverless GPU juga menawarkan tidak ada perubahan kode, mereka memerlukan Anda untuk mengirimkan Docker image ke server mereka. Proses ini bisa sangat merepotkan dan memperlambat kecepatan deployment. Kami mengenali masalah ini dan telah menghilangkan trade-off ini.
Layanan kami hanya memerlukan script dan file requirements.txt untuk melakukan tugas untuk Anda. Rahasia dari proses ini adalah environment dasar kami, yang sudah pre-built dengan library dan dependencies yang diperlukan, seperti:
- Transformer Engine (untuk NVIDIA NeMo dan mixed-precision training)
- PyTorch-based NVIDIA NGC
- NVIDIA Triton Inference Server, NVIDIA Rapids Stack, NVIDIA Curator
- Transformers (Hugging Face)
- LlamaCPP, ExllamaV2, OpenCV
Setup ini memberikan pengalaman mirip dengan menggunakan Google Colab dalam hal dependencies yang pre-built.
Contoh Serverless GPU
Contoh sangat penting untuk memulai dengan layanan apa pun. Kami telah membuat repositori GitHub publik untuk mendemonstrasikan cara menggunakan layanan kami.
Selain contoh "resmi" kami, kami menyambut "kontributor" yang ingin mendemonstrasikan cara menggunakan Serverless GPU kami. Kami juga menawarkan GPU Grants untuk "kontributor" (lihat bagian berikutnya).
Contoh dan template Contribute
Detail tentang Serverless GPU
GPU Grants
Kami bertujuan untuk mempercepat dampak dalam ekosistem, menguntungkan baik peneliti maupun engineer.
Kami telah memutuskan untuk mengumumkan Request for Grants (RFG) untuk menyediakan kredit GPU untuk "SEMUA" jenis penelitian. Ini juga mencakup developer yang ingin membuat postingan blog, konten, benchmark, dll.
Link Discord : https://discord.gg/j2DVTMjr67
Panggilan untuk Partner
Kami mencari partner dalam 3 kategori:
Agensi Konsultan
Bagaimana kami bisa membantu:
- Use case
- Arsitektur referensi
- Demo tools
Software Houses dan System Integrators (SI)
Bagaimana kami bisa membantu:
- Kredit GPU
- Arsitektur referensi
- Developer relations
Platform Pembelajaran
Bagaimana kami bisa membantu:
- Diskon yang sesuai
- Outline kursus
- Keahlian domain
Silakan kontak langsung ke saya : matichon[dot]man[at]float16[dot]cloud
Trust center
Kami telah menyelesaikan SOC2 dan Trust Center dengan Vanta.
Hubungi Float16
- Medium : Float16.cloud
- Facebook : Float16.cloud
- X : Float16.cloud
- Discord : Float16.cloud
- Youtube : Float16.cloud
