Float16 Release V2
Float16 Release V2
GPU Instance
GPU instance ถือเป็นหนึ่งในหมุดหมายสำคัญของ Float16 เหตุผลสำคัญคือ GPU instance ของ Float16 ใช้งาน VM-Liked เป็นพื้นฐาน ทำให้สามารถใช้งาน Container Technology ข้างในซ้อนอีกทีหนึ่งได้ ไม่ว่าจะเป็นการใช้งาน Docker, Podman หรือ K8S ก็สามารถใช้งานได้
เมื่อเทียบกับคู่แข่งเจ้าอื่นเช่น Runpod แล้ว Runpod ไม่สามารถใช้งาน Container Technology ได้ เนื่องจากแต่ละ Instance ของ Runpod ถูกสร้างมาจาก K8S จึงทำให้การทำ Docker-in-Docker นั้น เป็นไปไม่ได้ในเชิงเทคโนโลยี
นอกจากการใช้งาน Container ได้แล้ว ยังสามารถปรับแต่ง GPU ได้อย่างอิสระ ไม่ว่าจะเป็นการใช้งาน MIG ด้วย GPU H100 ที่สามารถปรับเปลี่ยนได้ด้วยตัวเอง ไม่จำเป็นต้อง Restart instance
GPU instance ของ Float16 จึงสามารถมอบประสบการณ์การใช้งานให้กับผู้ใช้งานได้เทียบเท่ากับการใช้งานบน Cloud ทั่วไป เช่น AWS, GCP, Azure ได้สมบูรณ์แบบโดยมีค่าใช้จ่ายที่ถูกกว่าใช้งานบน Cloud ทั่วไปถึง 50%
Proxy endpoint พร้อมใช้งาน ไม่ต้องทำ nginx หรือ forward port เพิ่มเติม เพราะเราทำ Proxy Endpoint ให้เรียบร้อยแล้ว สำหรับ Proxy endpoint รองรับการใช้งาน vLLM endpoint, Jupyter Notebook หรือแม้แต่ VS Code Server เรียบร้อย โดย Port จะสามารถใช้ได้ตั้งแต่ Port 3000 ไปจนถึง Port 4000
GPU instance ยังมาพร้อมกับ One-Click Template ที่สามารถใช้สำหรับการ Deploy LLM ด้วย Framework ยอดนิยมอย่างเช่น vLLM พร้อมกับหน้า Playground สำหรับทดลองใช้ได้ทันที และยังมี Advance Technology ของ vLLM เช่น Tools Calling, Structured Output (JSON Output)
เหมาะสำหรับการใช้งานแบบ Agentic AI โดยไม่ต้องทำอะไรเพิ่มเติม
**เพิ่มเติม typhoon-ocr สามารถ Deploy ผ่าน One-Click Deployment ได้เลย **
Serverless GPU
Serverless GPU ใช้งานผ่าน VS Code Extension และ รองรับ Streaming Output
Serverless GPU สามารถสั่ง Run ผ่าน VS Code Extension (Float16 ext) ได้แล้ว โดยสามารถใช้งานได้ทั้ง Run Manual และสามารถ Deploy Endpoint เพื่อใช้งาน Float16 ext สามารถติดตั้งได้จาก VS Code Extension Marketplace ได้ทันที และสามารถ Auth ได้โดยตรงจาก Float16 ext ไม่จำเป็นต้องใช้ token สำหรับการทำ Auth
Download Float16 Extension ที่นี่
ถัดมาคือ Streaming Output จากข้อจำกัดเดิมของ Serverless GPU v1 ทำให้ไม่สามารถ Streaming Output ออกมาจากการรันแบบ Manual ได้ ซึ่งข้อจำกัดดังกล่าวได้ถูกปรับปรุงใน v2 เรียบร้อยแล้ว เพื่อช่วยเพิ่มประสบการณ์ในการใช้งานและความยืนหยุ่นในการใช้งาน
Payment
Payment v2 รองรับการชำระเงินผ่าน QR Code (Thai Prompt Pay) เรียบร้อยแล้ว สามารถรับชำระเป็นเงินสกุลบาทและ Scan จ่ายผ่านธนาคารได้ทันที เพิ่มความสะดวกในการใช้งานมากขึ้น
ขอบคุณทุกท่านที่สนับสนุน Float16 ตลอดมา ทำให้เราสามารถพัฒนา Platform ได้อย่างดีขึ้นและตอบโจทย์การใช้งานมากยิ่งขึ้น