Float16.cloud รอบ Seed
สวัสดีครับทุกคน ผม Mati ผู้ก่อตั้ง Float16.cloud ผมสร้าง Float16.cloud โดยเริ่มต้นเมื่อ 9 เดือนที่แล้วในเดือนตุลาคม 2023 เพื่อพัฒนาแพลตฟอร์ม และเปิดตัวครั้งแรกในเดือนมกราคม 2024
หลังจากเปิดตัว Float16 เวอร์ชันแรก ผมได้รับข้อเสนอแนะหลายอย่างและอยากขอขอบคุณสำหรับการสนับสนุนและข้อเสนอแนะอันมีค่าของคุณ ผมยังตื่นเต้นที่จะประกาศว่าเราได้รับเงินทุนจากนักลงทุนของเรา
วันนี้ ผมภูมิใจมากที่จะประกาศเวอร์ชันแรกของค่านิยมหลักและแผนงานของเรา
ผมเชื่อว่าการประกาศนี้จะช่วยให้คุณเข้าใจอย่างลึกซึ้งว่า Float16.cloud มุ่งหวังที่จะสร้างอะไรและค่านิยมหลักที่เรามุ่งมั่น
ค่านิยมหลัก
-
นักพัฒนาและชุมชนมาก่อน
-
พื้นฐานมาก่อน จากนั้นจึงเป็นแอปพลิเคชันและโซลูชั่น
-
กลยุทธ์ต้นทุนหลายระดับ
เรามุ่งมั่นที่จะสร้าง Float16.cloud ให้เป็นบ้านสำหรับนักพัฒนาและนักวิจัย AI เรามุ่งมั่นที่จะให้ทุกสิ่งที่จำเป็นเพื่อนำ AI มาใช้เป็นส่วนหนึ่งของอนาคตและแอปพลิเคชันของคุณ ในอีกด้านหนึ่ง ในฐานะนักวิจัย AI ที่มีพื้นฐานด้าน machine learning engineering และ optimization inference มา 6 ปี ผมกำลังสร้างแพลตฟอร์มและชุมชนนี้เพื่อช่วยให้คุณไม่ต้องกังวลเกี่ยวกับการติดตั้ง การจัดการทรัพยากร และสนับสนุนการเดินทางของคุณจากการ training ไปจนถึง production
พื้นฐาน เป็นส่วนสำคัญของแพลตฟอร์มตั้งแต่วันแรก เราสังเกตเห็นหลายแพลตฟอร์มและเครื่องมือที่ส่งเสริมให้ผู้คนมุ่งเน้นที่ "เครื่องมือ" มากกว่า "พื้นฐาน" แม้ว่าแนวทางนี้จะดีสำหรับโซลูชั่นและแอปพลิเคชันแบบ quick-win แต่ไม่ดีสำหรับผลประโยชน์ระยะยาวของนักพัฒนา
ผมจะสร้างพื้นฐานเกี่ยวกับวิธีการใช้และทำให้ชัดเจนกับเทคนิคมหัศจรรย์ทั้งหมดของทุกเครื่องมือ ค่านิยมหลักนี้ควรจะยั่งยืนกว่าการมุ่งเน้นเฉพาะโซลูชั่นและ use cases
การเงินเป็นปัญหาเสมอเมื่อพัฒนาโปรเจกต์และนำฟีเจอร์ใหม่ๆ มาใช้ ในฐานะ FinOps Practitioner ผมมุ่งมั่นที่จะเสนอกลยุทธ์ต้นทุนหลายระดับและ API เพื่อจัดการต้นทุนทั่วแพลตฟอร์ม นี่ควรจะช่วยให้นักพัฒนามีความยืดหยุ่นมากขึ้นเมื่อพัฒนาฟีเจอร์ใหม่และใช้เพื่อคำนวณโครงสร้างต้นทุนของโปรเจกต์
แผนงาน
-
ประกาศช่องทางอย่างเป็นทางการสำหรับข่าวสาร อัปเดต และการสนับสนุน
-
ออกแบบเว็บไซต์ใหม่
-
ออกแบบเอกสารประกอบใหม่
-
ปรับปรุงระบบเรียกเก็บเงินใหม่
-
ปรับปรุงระบบบัญชีและองค์กรใหม่
เราได้รับข้อเสนอแนะหลายอย่างเกี่ยวกับ ช่องทางการสื่อสาร และในที่สุด ผมจะประกาศช่องทางการสื่อสารอย่างเป็นทางการผ่านหลายช่องทางที่ระบุไว้ที่นี่:
- ข่าวสารและอัปเดต
X, LinkedIn, Facebook, Discord, Blog, YouTube (เร็วๆ นี้), GitHub (เร็วๆ นี้), การสมัครสมาชิกอีเมล
- การสนับสนุน
อีเมล, Discord, กลุ่ม Facebook, Slack, GitHub (เร็วๆ นี้)
เว็บไซต์และเอกสารประกอบ จะได้รับการ ปรับปรุงใหม่ พร้อมความสอดคล้องในเอกสารและตัวอย่างบน GitHub
ระบบเรียกเก็บเงินและระบบบัญชี จะเปิดตัวในเวอร์ชันใหม่เพื่อเพิ่มความสามารถสำหรับกลยุทธ์ราคาหลายระดับ
ฟีเจอร์ GPU
-
การ deployment แบบคลิกเดียวของ Huggingface inference endpoints
-
แดชบอร์ดเปรียบเทียบ Large Language Model (LLM) inference
-
การ training แบบคลิกเดียวสำหรับ Multi-node GPU
-
Serverless GPU
-
Float16 API และ SDK
ส่วนประกอบหลักของ Float16 ใหม่คือฟีเจอร์ GPU GPUs เป็นส่วนสำคัญและวิกฤตของผลิตภัณฑ์ AI มาพร้อมกับพลังการคำนวณมหาศาลแต่ก็มาพร้อมกับความซับซ้อนในการจัดการ
เรามุ่งมั่นที่จะให้ฟีเจอร์ GPU หลายอย่างเพื่อรองรับให้มากที่สุดเท่าที่จะทำได้
การ deployment แบบคลิกเดียว อาจดูเรียบง่าย แต่เราจะบรรจุคุณภาพเข้าไปในฟีเจอร์นี้ เรามุ่งเป้าที่จะลดราคาลง 50% - 70% เมื่อเทียบกับอัตรา on-demand
แดชบอร์ดเปรียบเทียบ มีความสำคัญสำหรับการคำนวณราคาของการ host LLM ของคุณเอง เราจะเผยแพร่แดชบอร์ดในรูปแบบเดียวกับ vantage.sh เพื่อเพิ่มความเป็นไปได้ของโปรเจกต์ LLM
การ training แบบ Multi-node มีราคาแพงและต้องการทักษะด้านวิศวกรรมมาก มันซับซ้อนมากที่จะได้ความเร็วในการ training ตามที่ผู้ให้บริการอ้าง เราจะสร้างการ training แบบคลิกเดียวและทำให้แน่ใจว่าความเร็วตรงกับการเปรียบเทียบที่อ้าง
Serverless GPU จะกลายเป็นความจริงหลังจากชุมชน GPU developers ของเราทำงานมา 8 ปี ฟีเจอร์ serverless GPU ของเราจะขยายไปถึงศูนย์ในขณะที่ลด cold starts (น้อยกว่า 10 วินาที เฉลี่ย 5 วินาที) Serverless GPU จะช่วยให้ startups และโปรเจกต์งานอดิเรกเข้าถึง GPUs มากขึ้นและมั่งคั่งด้วย GPU
APIs และ SDKs เป็นส่วนประกอบหลักในการจัดการต้นทุนโปรเจกต์ ในฐานะ FinOps Practitioner ผมจะให้นักพัฒนาควบคุมบัญชีของพวกเขาได้อย่างเต็มที่เพื่อให้แน่ใจว่าพวกเขาได้รับการปรับให้เหมาะสมที่สุดทั้งด้านประสิทธิภาพและต้นทุน
เนื้อหา
อีกหนึ่งการมีส่วนร่วมที่ผมอยากทำให้กับชุมชนคือการแบ่งปันความรู้ เราได้สร้างเพลย์ลิสต์สำหรับ LlamaIndex เพื่อทดสอบผลตอบรับและวัดเมตริก เราพบว่านักพัฒนาหลายคนมาขอบคุณเราและแสดงความคิดเห็นเชิงบวกมาก
เพื่อให้สอดคล้องกับชุมชน เราเปิดรับคำขอจากชุมชนสำหรับเพลย์ลิสต์หรือความรู้พื้นฐานที่จำเป็นเพื่อนำ LLM มาใช้เป็นส่วนหนึ่งของโปรเจกต์ ผลิตภัณฑ์ หรือบริการ
และความรู้และเพลย์ลิสต์จะฟรีเสมอ มาหาเราพร้อมคำขอของคุณ และเราจะสร้างเพลย์ลิสต์สำหรับชุมชน
สรุป
ทีมของผมและผมตื่นเต้นมากที่จะได้ยินข้อเสนอแนะของคุณ และเรายังต้องการข้อเสนอแนะของคุณตลอดการเดินทางของเรา
อย่าลังเลที่จะให้ข้อเสนอแนะกับทีมของเรา เราเปิดรับเสมอ
ขอบคุณที่อ่าน และหวังว่าค่านิยมหลักของเราจะสอดคล้องกับของคุณ
