รีวิว colibri — รันโมเดล AI ขนาดหลายร้อยพันล้านพารามิเตอร์บนคอมที่บ้าน ไม่ต้องมีการ์ดจอ

คืออะไร

colibri เป็นเอนจินรันโมเดลภาษาขนาดใหญ่แบบเปิด (open model) บนเครื่องที่เรามีอยู่แล้ว เขียนด้วยภาษา C ล้วน แยกไฟล์ตามตระกูลโมเดล และไม่จำเป็นต้องมี GPU

หลักการคือโมเดลแบบ mixture-of-experts (MoE) แม้จะมีพารามิเตอร์หลายร้อยพันล้าน แต่ใช้แค่ส่วนเล็กๆ ในแต่ละ token README ยกตัวอย่าง GLM-5.2 ที่มี 744B พารามิเตอร์ ใช้ราว 40B ต่อ token และส่วนที่เปลี่ยนไปในแต่ละ token มีแค่ราว 11 GB colibri จึงเก็บส่วนที่ใช้ตลอด (attention, shared experts, embeddings) ไว้ใน RAM แล้วอ่าน expert ที่เหลือจากดิสก์เมื่อโมเดลเรียกใช้ ผ่าน cache ที่เรียนรู้ว่างานของเราใช้ expert ตัวไหนบ่อย ถ้ามี GPU ก็จะเก็บ expert ที่ร้อนที่สุดไว้บน GPU

ผู้สร้างย้ำว่าตำแหน่งที่เก็บ weight มีผลแค่ความเร็ว ไม่ได้เปลี่ยนความแม่นยำหรือการตัดสินใจของ router ของโมเดล

จุดเด่น

• 🧠 รันโมเดลตัวใหญ่บนเครื่องธรรมดา รองรับโมเดลเปิดหลายตระกูล เช่น GLM-5.2/5.3, Kimi K3, DeepSeek V4 Flash, MiMo-V2.6, Qwen3.6 และ Qwen3-Coder รวมถึงโมเดลสร้างภาพ Qwen-Image-2.1
• 📦 อ่านไฟล์ GGUF ที่มีอยู่แล้วได้ ใช้ ./coli import แล้วรันได้เลยโดยไม่ต้องแปลงหรือ quantize ใหม่
• ⚡ เลือกฮาร์ดแวร์ได้ รันบน CPU อย่างเดียวได้ เร่งด้วย GPU ผ่าน Vulkan (การ์ดจอทุกยี่ห้อ) หรือ CUDA (NVIDIA) และมี Metal backend สำหรับ Apple Silicon ในบางเอนจิน
• 🛠️ ติดตั้งขั้นเดียว สคริปต์ตรวจ RAM ดิสก์ CPU และ GPU แนะนำโมเดลที่พอดีกับเครื่อง build เอนจินให้ และโหลดโมเดลต่อจากเดิมได้ถ้าหยุดกลางทาง
• 🔌 ต่อกับแอปอื่นได้ coli serve มี API แบบ OpenAI-compatible และ Anthropic-compatible (ให้ Claude Code ต่อใช้ได้) รองรับ tool calling ในเกือบทุกเอนจิน
• 📊 มี dashboard เปิดด้วย coli web ดูแชต หน้า Profiling และเห็น expert แต่ละตัวทำงานแบบเรียลไทม์
• 🤖 ให้ AI ช่วยติดตั้ง มีคู่มือ docs/AI_SETUP.md ให้ผู้ช่วยเขียนโค้ดทำตาม และมี MCP server (coli mcp) สำหรับตรวจเครื่อง แนะนำโมเดล ติดตั้ง และสั่งเปิดปิด

เหมาะกับใคร

• 🏠 คนที่อยากรัน LLM แบบ local บนคอมตัวเอง โดยไม่ต้องลงทุนการ์ดจอแพงๆ
• 🔬 สายที่ชอบทดลองโมเดลเปิดตัวใหญ่ และอยากเห็นว่า MoE ทำงานยังไงข้างใน
• 💻 dev ที่อยากได้ endpoint แบบ OpenAI หรือ Anthropic บนเครื่องตัวเองไว้ต่อกับเครื่องมือเขียนโค้ด

เริ่มต้นใช้งาน

ต้องมี RAM อย่างน้อย 8 GB (แนะนำ 16 GB ขึ้นไป) พื้นที่ว่าง 22 GB สำหรับโมเดลที่เล็กที่สุด และอินเทอร์เน็ต ส่วนการ์ดจอไม่จำเป็น

บน Windows ให้ดาวน์โหลด ZIP จากหน้า repo แตกไฟล์ แล้วดับเบิลคลิก START-HERE.bat

บน Linux (Ubuntu และ Debian):

sudo apt install git python3 build-essential
git clone https://github.com/JustVugg/colibri
cd colibri
./start-here.sh

บน macOS (ใช้ Homebrew):

xcode-select --install
brew install libomp git python
git clone https://github.com/JustVugg/colibri
cd colibri
./start-here.sh

สคริปต์จะถามคำถามเดียวคือจะใช้โมเดลไหน กด Enter เพื่อเลือกตัวที่แนะนำ เสร็จแล้วจะเปิด dashboard ในเบราว์เซอร์ที่ http://127.0.0.1:8000/ ถ้าอยากดูว่าโมเดลไหนรันบนเครื่องเราได้บ้าง ใช้ ./start-here.sh --list

ข้อควรรู้

• 🐢 โมเดลใหญ่ช้าตามดิสก์ โมเดลที่อ่าน expert จากดิสก์ ความเร็วขึ้นกับดิสก์เป็นหลัก ตัวเลขที่ README วัดไว้หลายตัวอยู่ราว 1 ถึง 3 token ต่อวินาทีบน CPU และ GLM-5.2 บนโน้ตบุ๊ก RAM 25 GB ได้แค่ 0.05 ถึง 0.1 token ต่อวินาที ส่วนโมเดลเล็กที่รันจาก RAM จะเร็วกว่ามาก
• 💾 ใช้พื้นที่เยอะ โมเดลใหญ่บางตัวต้องโหลดหลายร้อย GB ไปจนถึงระดับ TB
• 📜 License ตัวเอนจินใช้ Apache 2.0 แต่แต่ละโมเดลใช้ license ของผู้สร้างเอง เช่น Qwen-Image-2.1 ใช้เพื่อการค้าไม่ได้
• 📅 สร้าง repo เมื่อ 1 ก.ค. 2026 และยังอัปเดตต่อเนื่อง push ล่าสุด 4 พ.ย. 2026 ตามเวลาไทย

🔗 https://github.com/JustVugg/colibri

ข้อมูลจาก GitHub ณ 4 พ.ย. 2026: ⭐ 47,239 | ภาษา C | license Apache-2.0