Serverless GPU, GPU Grants dan Lebih Banyak Lagi
Hai Semua. Mati di sini
Sudah lama sejak kemas kini terkini. (One-click deployment)
Hari ini, saya mempunyai kemas kini yang sangat besar tentang Float16.cloud.
Serverless GPU
Pertama sekali, kami berbangga untuk mengumumkan perkhidmatan "Serverless GPU" kami, dikuasakan oleh H100.
Ciri Utama
- Tiada perubahan kod diperlukan—ucapkan selamat tinggal kepada imej Docker
- Cold start terpantas di dunia, di bawah 100ms
- Mod deployment untuk AI inference (Sila lihat contoh)
- Mod spot untuk AI training
Pembeza Utama Antara Serverless GPU Kami dan Yang Lain
Prinsip Reka Bentuk, Kami mereka Serverless GPU kami untuk serasi dengan skrip server tradisional, seperti skrip server FastAPI.
Pembangun tidak perlu mengubah kod mereka untuk menggunakan Serverless GPU kami.
Selain tiada perubahan kod, anda boleh mengucapkan selamat tinggal kepada imej Docker. Walaupun beberapa platform serverless GPU juga menawarkan tiada perubahan kod, mereka memerlukan anda menghantar imej Docker ke server mereka. Proses ini boleh sangat membebankan dan memperlahankan kelajuan deployment. Kami menyedari masalah ini dan telah menghapuskan trade-off ini.
Perkhidmatan kami hanya memerlukan skrip dan fail requirements.txt untuk melaksanakan tugas untuk anda. Rahsia kepada proses ini adalah persekitaran asas kami, yang datang pra-bina dengan perpustakaan dan dependencies yang diperlukan, seperti:
- Transformer Engine (untuk NVIDIA NeMo dan mixed-precision training)
- PyTorch-based NVIDIA NGC
- NVIDIA Triton Inference Server, NVIDIA Rapids Stack, NVIDIA Curator
- Transformers (Hugging Face)
- LlamaCPP, ExllamaV2, OpenCV
Persediaan ini memberikan pengalaman yang serupa dengan menggunakan Google Colab dari segi dependencies pra-bina.
Contoh Serverless GPU
Contoh adalah penting untuk memulakan dengan mana-mana perkhidmatan. Kami telah mencipta repositori GitHub awam untuk menunjukkan cara menggunakan perkhidmatan kami.
Selain contoh "rasmi" kami, kami mengalu-alukan "penyumbang" yang ingin menunjukkan cara menggunakan Serverless GPU kami. Kami juga menawarkan GPU Grants untuk "penyumbang" (lihat bahagian seterusnya).
Contoh dan template Sumbangan
Butiran tentang Serverless GPU
GPU Grants
Kami bertujuan untuk mempercepatkan impak dalam ekosistem, memberi manfaat kepada kedua-dua penyelidik dan jurutera.
Kami telah memutuskan untuk mengumumkan Request for Grants (RFG) untuk menyediakan kredit GPU untuk "SEBARANG" jenis penyelidikan. Ini juga meliputi pembangun yang ingin mencipta post blog, kandungan, benchmark, dsb.
Pautan Discord : https://discord.gg/j2DVTMjr67
Panggilan untuk Rakan Kongsi
Kami mencari rakan kongsi dalam 3 kategori:
Agensi Perunding
Bagaimana kami boleh membantu:
- Kes penggunaan
- Seni bina rujukan
- Alat demo
Software Houses dan Integrator Sistem (SI)
Bagaimana kami boleh membantu:
- Kredit GPU
- Seni bina rujukan
- Perhubungan pembangun
Platform Pembelajaran
Bagaimana kami boleh membantu:
- Diskaun sepadan
- Garis besar kursus
- Kepakaran domain
Sila hubungi terus saya : matichon[dot]man[at]float16[dot]cloud
Pusat Kepercayaan
Kami telah mencapai SOC2 dan Trust Center dengan Vanta.
Hubungi Float16
- Medium : Float16.cloud
- Facebook : Float16.cloud
- X : Float16.cloud
- Discord : Float16.cloud
- Youtube : Float16.cloud
