รีวิว DeepInfer — DeepSeek เปิดโค้ด inference framework ที่ใช้รัน production จริง
ข้อมูล Repo
deepseek-ai/DeepInfer- ภาษา
- Python
- ดาว
- 22,387
- สร้างเมื่อ
- แก้ไขล่าสุด
เปลี่ยนสถานะผ่าน API: PATCH /api/reports/4935b571-3ccf-4734-b07d-b2d7d180115a
แคปชันสำหรับ Facebook
DeepSeek เปิดโค้ดเครื่องยนต์ inference ตัวที่ใช้รันบริการจริงของตัวเองแล้วครับ 🚀 DeepInfer คือ framework ที่ขับเคลื่อนบริการ production ขนาดใหญ่ของ DeepSeek รุ่นที่เปิดออกมาเป็น offline inference สำหรับ DeepSeek-V4.1-Flash ✅ ใช้ kernel ที่ปรับแต่งแล้ว เช่น FlashMLA, DeepGEMM และ DeepEP ✅ เร่งการ decode ด้วย draft tokens และตรวจตามค่าความมั่นใจ ✅ ผลลัพธ์ซ้ำได้เป๊ะด้วย deterministic sampling (ฝั่ง NVIDIA) ✅ บังคับผลลัพธ์เป็น JSON schema, regex หรือ grammar ได้ ✅ license Apache-2.0 ต้องใช้ฮาร์ดแวร์ระดับดาต้าเซ็นเตอร์ (NVIDIA SM100 หรือ Huawei Ascend 950) และยังไม่ใช่ service ครบชุด เหมาะกับทีม infra และคนที่อยากศึกษาโค้ดระดับ production 🔗 https://github.com/deepseek-ai/DeepInfer #DeepSeek #LLM #AIInfra #OpenSource
ภาพปกแบบ HTML สด
แสดงจาก HTML ต้นฉบับที่ใช้สร้างภาพ ดาวน์โหลดเป็น PNG 1080×1350 ได้ทันที
สไตล์ Easy AI
1080×1350แก้ไข 2026-10-26
สไตล์ easy-app
1080×1350แก้ไข 2026-10-26
สรุป
DeepInfer คือ inference framework ที่ DeepSeek ใช้ขับเคลื่อนบริการ production ขนาดใหญ่ รุ่นโอเพนซอร์สนี้ให้ offline inference สำหรับ DeepSeek-V4.1-Flash พร้อม kernel ที่ปรับแต่งแล้ว parallelism แบบ MoE EP และ structured outputs รองรับ NVIDIA SM100 และ Huawei Ascend 950 license Apache-2.0
คืออะไร
DeepInfer คือ inference framework ประสิทธิภาพสูงที่ DeepSeek ใช้ขับเคลื่อนบริการ production ขนาดใหญ่ของตัวเอง เวอร์ชันโอเพนซอร์สนี้ให้ offline inference พร้อมฟีเจอร์หลักที่ต้องใช้ตอน serve ในสเกลใหญ่ ตอนนี้รองรับโมเดล DeepSeek-V4.1-Flash
จุดเด่น
- ⚡ ใช้ kernel ที่ปรับแต่งมาแล้ว ทั้ง FlashMLA, DeepGEMM, DeepEP, TileKernels, DeepSelect และ TileLang kernels ที่เขียนเอง
- 🧩 Parallelism แบบ Attention DP / balanced CP และ MoE EP + EPLB
- 🚀 DSpark กับ confidence-scheduled verification เร่งการ decode ด้วย draft tokens แล้วใช้ค่าความมั่นใจจัดลำดับการตรวจ
- ♻️ SWA bounded replay ลดงาน prefill ของ decoder โดย replay เฉพาะส่วนท้ายที่จำกัดขนาด
- ⏱️ Asynchronous scheduling ซ้อนงานจัด batch บน CPU ไปพร้อมกับการประมวลผลบนอุปกรณ์ (เปิดเป็นค่าเริ่มต้น)
- 🔒 Batch-invariant inference และ deterministic sampling ให้ผลเหมือนเดิมเมื่อ input และค่า sampling เหมือนกัน (เฉพาะ NVIDIA)
- 📐 Structured outputs บังคับผลลัพธ์ให้ตรง regex, JSON schema หรือ EBNF grammar
เหมาะกับใคร
- ทีม infra ที่มีฮาร์ดแวร์ระดับ NVIDIA SM100 หรือ Huawei Ascend 950 และอยากรัน DeepSeek-V4.1-Flash เอง
- คนที่อยากศึกษาว่า inference ระดับ production ของ DeepSeek ออกแบบอย่างไรจากโค้ดจริง
- ทีมที่ต้องการผลลัพธ์แบบ deterministic หรือ structured output บนโมเดล DeepSeek
เริ่มต้นใช้งาน
สิ่งที่ต้องมีตาม README: Linux, GCC >= 13.0, Python 3.12, CUDA 13 (สำหรับ NVIDIA) หรือ CANN 9.2 (สำหรับ Ascend) และควรสร้าง Python 3.12 environment ว่าง ๆ ไว้ก่อน build
# Use `ascend` instead for the Ascend platform
# Keep it exported in the environment where you run DeepInfer
export DEEPINFER_ACCELERATOR=nvidia
./build.sh
จากนั้นรัน offline inference รอบแรกจะดาวน์โหลด checkpoint deepseek-ai/DeepSeek-V4.1-Flash-1017 ลง Hugging Face cache ให้เอง หรือตั้ง DEEPINFER_HF_MODEL_DIR ให้ชี้ไปที่สำเนาในเครื่องก็ได้
python examples/offline_inference.py
ข้อควรรู้
- License Apache-2.0
- เปิด repo เมื่อ 16 ต.ค. 2026 และ push ล่าสุด 25 ต.ค. 2026 ยังใหม่มาก
- รุ่นนี้ยังไม่ใช่ inference service ครบชุด README บอกว่ายังไม่มี KV cache system, การแยก VE/Prefill/Decode (engine ส่วนใหญ่ที่ต้องใช้ทำไว้แล้ว) และ load balancing ข้าม data-parallel replicas
- ฮาร์ดแวร์ที่รองรับเป็นระดับดาต้าเซ็นเตอร์ ไม่ใช่การ์ดจอทั่วไป benchmark ใน README วัดบน SM100 4 ตัวสำหรับ prefill และ 64 ตัวสำหรับ decode
- README ระบุว่าเดิมสร้างบนฐาน vLLM เป็นหลัก และได้แรงบันดาลใจจาก SGLang กับ TensorRT-LLM
🔗 https://github.com/deepseek-ai/DeepInfer
ข้อมูลจาก GitHub ณ 26 ต.ค. 2026: ⭐ 22,387 | ภาษา Python | license Apache-2.0