Putaran Seed Float16.cloud

Halo semuanya, saya Mati, pendiri Float16.cloud. Saya membangun Float16.cloud, dimulai 9 bulan yang lalu pada Oktober 2023 untuk mengembangkan platform, dan meluncurkannya untuk pertama kalinya pada Januari 2024.

Setelah meluncurkan versi pertama Float16, saya menerima beberapa feedback dan saya ingin mengucapkan terima kasih atas dukungan dan masukan berharga Anda. Saya juga sangat senang untuk mengumumkan bahwa kami telah menerima pendanaan dari investor kami.

Hari ini, saya sangat bangga mengumumkan versi pertama dari nilai-nilai inti dan roadmap kami.

Saya percaya pengumuman ini akan membantu Anda untuk memahami secara mendalam apa yang Float16.cloud bertujuan untuk bangun dan nilai-nilai inti yang kami dedikasikan.

Nilai-Nilai Inti

1. Developer dan Komunitas adalah yang utama.

2. Fundamental adalah yang utama, kemudian aplikasi dan solusi.

3. Strategi biaya ganda.

Kami mendedikasikan diri untuk membangun Float16.cloud sebagai rumah bagi developer dan peneliti AI. Kami berkomitmen untuk menyediakan semua yang diperlukan untuk mengadopsi AI sebagai bagian dari masa depan dan aplikasi Anda. Di sisi lain, sebagai peneliti AI dengan latar belakang dalam machine learning engineering dan optimasi inference selama 6 tahun terakhir, saya membangun platform dan komunitas ini untuk membantu Anda menghindari kekhawatiran tentang instalasi, manajemen resource, dan mendukung perjalanan Anda dari training hingga production.

Fundamental telah menjadi bagian integral dari platform sejak hari pertama. Kami telah melihat beberapa platform dan tools yang mendorong orang untuk fokus pada "tools" daripada "fundamental". Meskipun pendekatan ini baik untuk solusi dan aplikasi quick-win, ini tidak bagus untuk manfaat jangka panjang bagi developer.

Saya akan menyusun fundamental tentang cara memanfaatkan dan mengklarifikasi SEMUA TRIK AJAIB dari setiap tool. Nilai inti ini harus lebih berkelanjutan daripada hanya fokus pada solusi dan use case.

Keuangan selalu menjadi masalah ketika mengembangkan proyek dan mengimplementasikan fitur baru. Sebagai FinOps Practitioner, saya berkomitmen untuk menawarkan strategi biaya ganda dan API untuk mengelola biaya di seluruh platform. Ini harus memungkinkan lebih banyak fleksibilitas bagi developer saat mengembangkan fitur baru dan menggunakannya untuk menghitung struktur biaya proyek.

Roadmap

- Mengumumkan saluran resmi untuk berita, update, dan dukungan.

- Redesain website.

- Redesain dokumentasi.

- Implementasi sistem billing baru.

- Implementasi sistem akun dan organisasi baru.

Kami menerima beberapa feedback tentang saluran komunikasi dan akhirnya, saya akan mengumumkan komunikasi resmi di beberapa saluran yang terdaftar di sini:

- Berita dan Update.

X, LinkedIn, Facebook, Discord, Blog, YouTube (Segera hadir), GitHub (Segera hadir), Langganan Email

- Dukungan.

Email, Discord, Grup Facebook, Slack, GitHub (Segera hadir)

Website dan dokumentasi akan dirombak, dengan konsistensi dalam dokumentasi dan contoh GitHub.

Sistem billing dan sistem akun akan diluncurkan dalam versi baru untuk meningkatkan kemampuan untuk strategi pricing ganda.

Fitur GPU

- One-click deployment endpoint inference Huggingface.

- Dashboard benchmark inference Large Language Model (LLM).

- One-click training untuk GPU Multi-node.

- Serverless GPU.

- Float16 API dan SDK.

Komponen kunci dari Float16 baru adalah fitur GPU. GPU adalah bagian penting dan kritis dari produk AI. Mereka datang dengan kekuatan komputasi yang besar tetapi juga dengan kompleksitas dalam mengelolanya.

Kami berkomitmen untuk menyediakan beberapa fitur GPU untuk melayani sebanyak mungkin yang kami bisa.

One-click deployment mungkin terlihat sederhana, tetapi kami akan mengemas kualitas ke dalam fitur ini. Kami bertujuan untuk mengurangi pricing sebesar 50% - 70% dibandingkan dengan tarif on-demand.

Dashboard benchmark sangat penting untuk menghitung pricing hosting LLM Anda sendiri. Kami akan menerbitkan dashboard dengan gaya yang sama seperti vantage.sh untuk meningkatkan kelayakan proyek LLM.

Pelatihan Multi-node mahal dan memerlukan banyak keterampilan engineering. Sangat rumit untuk mencapai kecepatan training seperti yang diklaim oleh penyedia. Kami akan membangun one-click training dan memastikan kecepatannya sesuai dengan benchmark yang diklaim.

Serverless GPU akan menjadi kenyataan setelah komunitas developer GPU kami telah bekerja di atasnya selama 8 tahun. Fitur serverless GPU kami akan scale ke nol sambil meminimalkan cold starts (kurang dari 10 detik, rata-rata 5 detik). Serverless GPU akan membantu startup dan proyek hobi mengakses lebih banyak GPU dan menjadi GPU-rich.

API dan SDK adalah komponen inti untuk mengelola biaya proyek. Sebagai FinOps Practitioner, saya akan memungkinkan developer kontrol penuh atas akun mereka untuk memastikan mereka mendapatkan optimasi terbaik baik performa maupun biaya.

Konten

Kontribusi lain yang ingin saya berikan kepada komunitas adalah berbagi pengetahuan. Kami telah membangun playlist untuk LlamaIndex untuk menguji feedback dan mengukur metrik. Kami menemukan beberapa developer datang untuk berterima kasih kepada kami dan berkomentar sangat positif.

Untuk selaras dengan komunitas, kami terbuka untuk permintaan komunitas untuk playlist atau pengetahuan fundamental yang diperlukan untuk mengadopsi LLM sebagai bagian dari proyek, produk, atau layanan.

Dan pengetahuan dan playlist akan selalu gratis. Datang kepada kami dengan permintaan Anda, dan kami akan membuat playlist untuk komunitas.

Kesimpulan

Tim saya dan saya sangat ingin mendengar feedback Anda, dan kami masih membutuhkan feedback Anda sepanjang perjalanan kami.

Jangan ragu untuk memberikan feedback kepada tim kami; kami selalu terbuka untuk itu.

Terima kasih telah membaca, dan saya berharap nilai-nilai inti kami selaras dengan Anda.