Serverless GPU, GPU Grants และอื่นๆ อีกมากมาย
สวัสดีครับทุกคน Mati มาแล้ว
ไม่ได้อัปเดตมาสักพัก (การ deployment แบบคลิกเดียว)
วันนี้ ผมมีอัปเดตใหญ่เกี่ยวกับ Float16.cloud
Serverless GPU
ก่อนอื่น เรามีความภูมิใจที่จะประกาศบริการ "Serverless GPU" ของเรา ซึ่งขับเคลื่อนด้วย H100
ฟีเจอร์หลัก
- ไม่ต้องเปลี่ยนโค้ดเลย—บอกลา Docker images
- cold start ที่เร็วที่สุดในโลก ต่ำกว่า 100ms
- โหมด Deployment สำหรับ AI inference (โปรดดูตัวอย่าง)
- โหมด Spot สำหรับ AI training
จุดแตกต่างหลักระหว่าง Serverless GPU ของเรากับผู้อื่น
หลักการออกแบบ เราออกแบบ Serverless GPU ของเราให้เข้ากันได้กับสคริปต์เซิร์ฟเวอร์แบบดั้งเดิม เช่น สคริปต์เซิร์ฟเวอร์ FastAPI
นักพัฒนาไม่ต้องเปลี่ยนโค้ดของพวกเขาเพื่อใช้ Serverless GPU ของเรา
นอกจากการไม่ต้องเปลี่ยนโค้ดแล้ว คุณสามารถบอกลา Docker images ได้ แม้ว่าแพลตฟอร์ม serverless GPU บางแห่งจะเสนอการไม่ต้องเปลี่ยนโค้ดด้วยเช่นกัน แต่พวกเขาต้องการให้คุณส่ง Docker image ไปยังเซิร์ฟเวอร์ของพวกเขา กระบวนการนี้อาจจะยุ่งยากมากและทำให้ความเร็วในการ deployment ช้าลง เราตระหนักถึงปัญหานี้และได้กำจัดข้อแลกเปลี่ยนนี้แล้ว
บริการของเราต้องการเพียงสคริปต์และไฟล์ requirements.txt เพื่อทำงานให้คุณ ความลับของกระบวนการนี้คือสภาพแวดล้อมพื้นฐานของเรา ซึ่งมาพร้อมกับไลบรารีและ dependencies ที่สร้างไว้ล่วงหน้า เช่น:
- Transformer Engine (สำหรับ NVIDIA NeMo และ mixed-precision training)
- PyTorch-based NVIDIA NGC
- NVIDIA Triton Inference Server, NVIDIA Rapids Stack, NVIDIA Curator
- Transformers (Hugging Face)
- LlamaCPP, ExllamaV2, OpenCV
การตั้งค่านี้ให้ประสบการณ์ที่คล้ายกับการใช้ Google Colab ในแง่ของ dependencies ที่สร้างไว้ล่วงหน้า
ตัวอย่าง Serverless GPU
ตัวอย่างมีความสำคัญสำหรับการเริ่มต้นใช้งานบริการใดๆ เราได้สร้างรีพอสิทอรี GitHub สาธารณะเพื่อแสดงวิธีใช้บริการของเรา
นอกจากตัวอย่าง "อย่างเป็นทางการ" ของเราแล้ว เรายินดีต้อนรับ**"ผู้มีส่วนร่วม"** ที่ต้องการแสดงวิธีใช้ Serverless GPU ของเรา เรายังเสนอ GPU Grants สำหรับ "ผู้มีส่วนร่วม" (ดูส่วนถัดไป)
ตัวอย่างและเทมเพลตสำหรับผู้มีส่วนร่วม
รายละเอียดเกี่ยวกับ Serverless GPU
GPU Grants
เรามุ่งหวังที่จะเร่งผลกระทบภายในระบบนิเวศ เป็นประโยชน์ต่อทั้งนักวิจัยและวิศวกร
เราได้ตัดสินใจประกาศคำขอสำหรับ Grants (RFG) เพื่อให้เครดิต GPU สำหรับการวิจัย "ทุก" ประเภท ซึ่งยังครอบคลุมนักพัฒนาที่ต้องการสร้างบล็อกโพสต์ เนื้อหา benchmarks ฯลฯ
ลิงก์ Discord : https://discord.gg/j2DVTMjr67
เรียกหาพันธมิตร
เรากำลังมองหาพันธมิตรใน 3 หมวดหมู่:
Consultant Agencies
เราสามารถช่วยได้อย่างไร:
- Use cases
- สถาปัตยกรรมอ้างอิง
- เครื่องมือ Demo
Software Houses และ System Integrators (SI)
เราสามารถช่วยได้อย่างไร:
- เครดิต GPU
- สถาปัตยกรรมอ้างอิง
- ความสัมพันธ์กับนักพัฒนา
Learning Platforms
เราสามารถช่วยได้อย่างไร:
- ส่วนลดที่ตรงกัน
- โครงร่างหลักสูตร
- ความเชี่ยวชาญเฉพาะด้าน
โปรดติดต่อผมโดยตรง : matichon[dot]man[at]float16[dot]cloud
Trust center
เราได้รับ SOC2 และ Trust Center จาก Vanta แล้ว
ติดต่อ Float16
- Medium : Float16.cloud
- Facebook : Float16.cloud
- X : Float16.cloud
- Discord : Float16.cloud
- Youtube : Float16.cloud
