Vòng Seed của Float16.cloud
Xin chào mọi người, tôi là Mati, người sáng lập Float16.cloud. Tôi đã xây dựng Float16.cloud, bắt đầu từ 9 tháng trước vào tháng 10 năm 2023 để phát triển nền tảng, và ra mắt nó lần đầu tiên vào tháng 1 năm 2024.
Sau khi ra mắt phiên bản đầu tiên của Float16, tôi đã nhận được nhiều phản hồi và tôi muốn cảm ơn sự ủng hộ và đầu vào quý giá của bạn. Tôi cũng vui mừng thông báo rằng chúng tôi đã nhận được tài trợ từ nhà đầu tư của chúng tôi.
Hôm nay, tôi rất tự hào thông báo phiên bản đầu tiên về các giá trị cốt lõi và lộ trình của chúng tôi.
Tôi tin rằng thông báo này sẽ giúp bạn hiểu sâu sắc về những gì Float16.cloud đang hướng đến xây dựng và các giá trị cốt lõi mà chúng tôi cam kết.
Giá trị Cốt lõi
1. Nhà phát triển và Cộng đồng là ưu tiên hàng đầu.
2. Nền tảng cơ bản là ưu tiên, sau đó là ứng dụng và giải pháp.
3. Chiến lược chi phí đa dạng.
Chúng tôi cam kết xây dựng Float16.cloud như một ngôi nhà cho các nhà phát triển và nhà nghiên cứu AI. Chúng tôi cam kết cung cấp mọi thứ cần thiết để áp dụng AI như một phần của tương lai và ứng dụng của bạn. Mặt khác, với tư cách là nhà nghiên cứu AI có nền tảng về kỹ thuật học máy và tối ưu hóa suy luận trong 6 năm qua, tôi đang xây dựng nền tảng và cộng đồng này để giúp bạn không phải lo lắng về cài đặt, quản lý tài nguyên và hỗ trợ hành trình của bạn từ huấn luyện đến sản xuất.
Nền tảng cơ bản đã là một phần không thể thiếu của nền tảng kể từ ngày đầu tiên. Chúng tôi đã nhận thấy một số nền tảng và công cụ khuyến khích mọi người tập trung vào "công cụ" thay vì "nền tảng cơ bản". Mặc dù cách tiếp cận này tốt cho các giải pháp và ứng dụng chiến thắng nhanh chóng, nhưng không tốt cho lợi ích dài hạn của nhà phát triển.
Tôi sẽ tạo ra nền tảng về cách sử dụng và làm rõ TẤT CẢ CÁC THỦ THUẬT KỲ DIỆU của mọi công cụ. Giá trị cốt lõi này sẽ bền vững hơn so với việc chỉ tập trung vào giải pháp và trường hợp sử dụng.
Tài chính luôn là vấn đề khi phát triển dự án và triển khai các tính năng mới. Với tư cách là FinOps Practitioner, tôi cam kết cung cấp nhiều chiến lược chi phí và API để quản lý chi phí trên toàn nền tảng. Điều này sẽ cho phép linh hoạt hơn cho các nhà phát triển khi phát triển các tính năng mới và sử dụng chúng để tính toán cấu trúc chi phí dự án.
Lộ trình
- Thông báo kênh chính thức cho tin tức, cập nhật và hỗ trợ.
- Thiết kế lại trang web.
- Thiết kế lại tài liệu.
- Triển khai hệ thống thanh toán mới.
- Triển khai hệ thống tài khoản và tổ chức mới.
Chúng tôi đã nhận được một số phản hồi về kênh giao tiếp và cuối cùng, tôi sẽ thông báo giao tiếp chính thức qua một số kênh được liệt kê ở đây:
- Tin tức và Cập nhật.
X, LinkedIn, Facebook, Discord, Blog, YouTube (Sắp ra mắt), GitHub (Sắp ra mắt), Đăng ký email
- Hỗ trợ.
Email, Discord, Nhóm Facebook, Slack, GitHub (Sắp ra mắt)
Trang web và tài liệu sẽ được cải tiến, với tính nhất quán trong tài liệu và ví dụ GitHub.
Hệ thống thanh toán và hệ thống tài khoản sẽ được triển khai trong phiên bản mới để nâng cao khả năng cho nhiều chiến lược định giá.
Tính năng GPU
- Triển khai một cú nhấp chuột của các endpoint suy luận Huggingface.
- Bảng điều khiển benchmark suy luận Mô hình Ngôn ngữ Lớn (LLM).
- Huấn luyện một cú nhấp chuột cho GPU Multi-node.
- Serverless GPU.
- Float16 API và SDK.
Các thành phần chính của Float16 mới là các tính năng GPU. GPU là các bộ phận thiết yếu và quan trọng của các sản phẩm AI. Chúng đi kèm với sức mạnh tính toán khổng lồ nhưng cũng với sự phức tạp trong việc quản lý chúng.
Chúng tôi cam kết cung cấp nhiều tính năng GPU để phục vụ nhiều nhất có thể.
Triển khai một cú nhấp chuột có vẻ đơn giản, nhưng chúng tôi sẽ đóng gói chất lượng vào tính năng này. Chúng tôi nhắm đến việc giảm giá 50% - 70% so với tỷ lệ theo yêu cầu.
Bảng điều khiển benchmark rất quan trọng để tính toán giá cả của việc lưu trữ LLM của riêng bạn. Chúng tôi sẽ công bố một bảng điều khiển theo phong cách tương tự như vantage.sh để tăng tính khả thi của các dự án LLM.
Huấn luyện Multi-node đắt tiền và yêu cầu nhiều kỹ năng kỹ thuật. Rất phức tạp để đạt được tốc độ huấn luyện như các nhà cung cấp tuyên bố. Chúng tôi sẽ xây dựng huấn luyện một cú nhấp chuột và đảm bảo tốc độ khớp với benchmark đã tuyên bố.
Serverless GPU sẽ trở thành hiện thực sau khi cộng đồng nhà phát triển GPU của chúng tôi đã làm việc trên đó trong 8 năm. Tính năng serverless GPU của chúng tôi sẽ mở rộng về không trong khi giảm thiểu khởi động lạnh (dưới 10 giây, trung bình 5 giây). Serverless GPU sẽ giúp các startup và dự án sở thích truy cập nhiều GPU hơn và trở nên giàu GPU.
API và SDK là các thành phần cốt lõi để quản lý chi phí dự án. Với tư cách là FinOps Practitioner, tôi sẽ cho phép các nhà phát triển kiểm soát hoàn toàn tài khoản của họ để đảm bảo họ có được tối ưu hóa tốt nhất về cả hiệu suất và chi phí.
Nội dung
Một đóng góp khác mà tôi muốn đóng góp cho cộng đồng là chia sẻ kiến thức. Chúng tôi đã xây dựng một danh sách phát cho LlamaIndex để kiểm tra phản hồi và đo lường số liệu. Chúng tôi đã thấy một số nhà phát triển đến cảm ơn chúng tôi và bình luận rất tích cực.
Để phù hợp với cộng đồng, chúng tôi sẵn sàng tiếp nhận các yêu cầu của cộng đồng về danh sách phát hoặc bất kỳ kiến thức cơ bản nào cần thiết để áp dụng LLM như một phần của dự án, sản phẩm hoặc dịch vụ.
Và kiến thức và danh sách phát sẽ luôn miễn phí. Hãy đến với chúng tôi với yêu cầu của bạn, và chúng tôi sẽ tạo danh sách phát cho cộng đồng.
Kết luận
Đội ngũ của tôi và tôi rất háo hức được lắng nghe phản hồi của bạn, và chúng tôi vẫn cần phản hồi của bạn trong suốt hành trình của chúng tôi.
Đừng ngần ngại cung cấp phản hồi cho đội ngũ của chúng tôi; chúng tôi luôn sẵn sàng tiếp nhận.
Cảm ơn bạn đã đọc, và tôi hy vọng các giá trị cốt lõi của chúng tôi phù hợp với của bạn.
