Pusingan Seed Float16.cloud

Hai semua, saya Mati, pengasas Float16.cloud. Saya membina Float16.cloud, bermula 9 bulan lalu pada Oktober 2023 untuk membangunkan platform, dan melancarkannya buat pertama kali pada Januari 2024.

Selepas melancarkan versi pertama Float16, saya menerima beberapa maklum balas dan saya ingin mengucapkan terima kasih atas sokongan dan input berharga anda. Saya juga teruja untuk mengumumkan bahawa kami telah menerima pembiayaan daripada pelabur kami.

Hari ini, saya sangat bangga untuk mengumumkan versi pertama nilai teras dan roadmap kami.

Saya percaya pengumuman ini akan membantu anda memahami dengan mendalam apa yang Float16.cloud ingin bina dan nilai teras yang kami dedikasikan.

Nilai Teras

1. Pembangun dan Komuniti dahulu.

2. Asas dahulu, kemudian aplikasi dan penyelesaian.

3. Strategi kos berbilang.

Kami mendedikasikan diri kami untuk membina Float16.cloud sebagai rumah untuk pembangun dan penyelidik AI. Kami komited untuk menyediakan segala yang diperlukan untuk menggunakan AI sebagai sebahagian daripada masa depan dan aplikasi anda. Sebaliknya, sebagai penyelidik AI dengan latar belakang dalam kejuruteraan pembelajaran mesin dan pengoptimuman inference selama 6 tahun yang lalu, saya membina platform dan komuniti ini untuk membantu anda mengelakkan kebimbangan tentang pemasangan, pengurusan sumber, dan menyokong perjalanan anda dari latihan hingga pengeluaran.

Asas telah menjadi bahagian penting platform sejak hari pertama. Kami telah perasan beberapa platform dan alat yang menggalakkan orang untuk fokus pada "alat" daripada "asas". Walaupun pendekatan ini baik untuk penyelesaian dan aplikasi quick-win, ia tidak bagus untuk faedah jangka panjang pembangun.

Saya akan mencipta asas tentang cara menggunakan dan menjelaskan SEMUA TRIK AJAIB setiap alat. Nilai teras ini seharusnya lebih mampan daripada hanya fokus pada penyelesaian dan kes penggunaan.

Kewangan sentiasa menjadi masalah apabila membangunkan projek dan melaksanakan ciri baru. Sebagai Pengamal FinOps, saya komited untuk menawarkan pelbagai strategi kos dan API untuk menguruskan kos di seluruh platform. Ini seharusnya membolehkan lebih fleksibiliti untuk pembangun apabila membangunkan ciri baru dan menggunakannya untuk mengira struktur kos projek.

Roadmap

- Mengumumkan saluran rasmi untuk berita, kemas kini, dan sokongan.

- Reka bentuk semula laman web.

- Reka bentuk semula dokumentasi.

- Melaksanakan sistem pengebilan baru.

- Melaksanakan sistem akaun dan organisasi baru.

Kami menerima beberapa maklum balas tentang saluran komunikasi dan akhirnya, saya akan mengumumkan komunikasi rasmi merentasi beberapa saluran yang disenaraikan di sini:

- Berita dan Kemas kini.

X, LinkedIn, Facebook, Discord, Blog, YouTube (Akan datang), GitHub (Akan datang), Langganan Email

- Sokongan.

Emel, Discord, Kumpulan Facebook, Slack, GitHub (Akan datang)

Laman web dan dokumentasi akan dirombak, dengan konsistensi dalam dokumentasi dan contoh GitHub.

Sistem pengebilan dan sistem akaun akan dilancarkan dalam versi baru untuk meningkatkan keupayaan untuk pelbagai strategi harga.

Ciri GPU

- One-click deployment endpoint inference Huggingface.

- Dashboard benchmark inference Large Language Model (LLM).

- One-click training untuk GPU Multi-node.

- Serverless GPU.

- Float16 API dan SDK.

Komponen utama Float16 baru adalah ciri GPU. GPU adalah bahagian penting dan kritikal produk AI. Mereka datang dengan kuasa pengiraan yang besar tetapi juga dengan kerumitan menguruskannya.

Kami komited untuk menyediakan pelbagai ciri GPU untuk melayani seberapa banyak yang kami boleh.

One-click deployment mungkin kelihatan mudah, tetapi kami akan memasukkan kualiti ke dalam ciri ini. Kami bertujuan untuk mengurangkan harga sebanyak 50% - 70% berbanding kadar on-demand.

Dashboard benchmark adalah penting untuk mengira harga hosting LLM anda sendiri. Kami akan menerbitkan dashboard dalam gaya yang sama seperti vantage.sh untuk meningkatkan kebolehlaksanaan projek LLM.

Latihan Multi-node mahal dan memerlukan banyak kemahiran kejuruteraan. Ia sangat rumit untuk mencapai kelajuan latihan seperti yang didakwa oleh penyedia. Kami akan membina one-click training dan memastikan kelajuan sepadan dengan benchmark yang didakwa.

Serverless GPU akan menjadi kenyataan selepas komuniti pembangun GPU kami telah bekerja padanya selama 8 tahun. Ciri serverless GPU kami akan scale to zero sambil meminimumkan cold starts (kurang dari 10 saat, purata 5 saat). Serverless GPU akan membantu startup dan projek hobi mengakses lebih banyak GPU dan menjadi kaya GPU.

API dan SDK adalah komponen teras untuk menguruskan kos projek. Sebagai Pengamal FinOps, saya akan membenarkan pembangun kawalan penuh akaun mereka untuk memastikan mereka mendapat pengoptimuman terbaik kedua-dua prestasi dan kos.

Kandungan

Sumbangan lain yang saya ingin berikan kepada komuniti adalah perkongsian pengetahuan. Kami telah membina senarai main untuk LlamaIndex untuk menguji maklum balas dan mengukur metrik. Kami dapati beberapa pembangun datang untuk berterima kasih kepada kami dan memberi komen yang sangat positif.

Untuk diselaraskan dengan komuniti, kami terbuka kepada permintaan komuniti untuk senarai main atau sebarang pengetahuan asas yang diperlukan untuk menggunakan LLM sebagai sebahagian daripada projek, produk, atau perkhidmatan.

Dan pengetahuan dan senarai main akan sentiasa percuma. Datang kepada kami dengan permintaan anda, dan kami akan mencipta senarai main untuk komuniti.

Kesimpulan

Pasukan saya dan saya sangat tidak sabar untuk mendengar maklum balas anda, dan kami masih memerlukan maklum balas anda sepanjang perjalanan kami.

Jangan teragak-agak untuk memberikan maklum balas kepada pasukan kami; kami sentiasa terbuka kepadanya.

Terima kasih kerana membaca, dan saya harap nilai teras kami selaras dengan anda.