รีวิว agent-desktop — CLI จาก Vercel Labs ให้ AI agent มองและกดแอปเดสก์ท็อปได้จริง

คืออะไร

agent-desktop คือเครื่องมือจาก vercel-labs ที่ทำ "computer use" สำหรับ AI agent บนเดสก์ท็อป โดย agent จะอ่านและควบคุมแอปผ่าน OS accessibility tree แทนการจับ screenshot มา match pixel เขียนด้วย Rust เป็นทั้ง CLI และ C library รองรับ macOS, Windows และ Linux (พร้อม language binding ผ่าน FFI)

การทำงานเป็นลูปง่าย ๆ: snapshot แล้วได้ JSON ที่มี ref ของทุก element ที่ agent ทำได้ ➡️ สั่ง act บน ref นั้น ➡️ snapshot อีกครั้งเพื่อตรวจสอบ

จุดเด่น

✅ ไม่ใช้ pixel matching — ทุก element มี ref ชี้ชัด ทำให้ agent ตรวจสอบผลได้แม่นยำ

✅ Headless เป็นค่าเริ่มต้น — ref actions ทำงานผ่าน accessibility API โดยไม่ขยับเมาส์หรือขโมย focus (มี flag --headed ถ้าต้องการ physical input)

✅ แต่ละ CLI call รันใน process ของตัวเอง และแม้ headless ก็ยังห้าม foreground activation และ synthesized input

✅ มี 60 command names (56 ตัวทำงานได้จริง) ครอบคลุม observe, click/typing, keyboard/mouse, จัดการแอปและ window, notification, clipboard และอื่น ๆ

✅ Binary มี docs ในตัว: agent-desktop skills get desktop และ skills get platform พร้อมติดตั้งเป็น skill เข้า agent harness ผ่าน skills.sh หรือใส่ข้อความใน AGENTS.md

✅ JSON envelope ทุก command มี ok กับ data หรือ error (มี code, disposition และ suggestion) ง่ายต่อการ parse และกำหนดกติกา retry

เหมาะกับใคร

👉 คนที่ทำ AI agent แล้วอยากให้ agent มองและกระทำกับแอปเดสก์ท็อปจริง ๆ ได้ เช่น click, type, scroll และเปิด-ปิดหน้าต่าง

👉 สาย automation ที่อยากใช้ accessibility tree แทนการ hack ผ่าน screenshot

👉 คนที่อยากเรียก library ใน process เดียวกับโปรแกรม แทนการ spawn CLI ทุกครั้ง (มี FFI ให้)

เริ่มต้นใช้งาน

ติดตั้งด้วย npm (รองรับ macOS, Windows, Linux):

npm install -g agent-desktop
agent-desktop version

ลองใช้เร็ว ๆ (ตัวอย่างบน macOS):

agent-desktop snapshot --app Finder -i      # interactive elements, each with a ref
agent-desktop click @s8f3k2p9:e8            # act on a ref from that snapshot
agent-desktop snapshot --app Finder -i      # observe again to verify

• macOS ต้องขอ Accessibility permission: agent-desktop permissions --guide
• Windows ไม่ต้อง grant เพิ่มสำหรับแอประดับ integrity เดียวกับ terminal
• Linux ต้องรันใน graphical session ของผู้ใช้ พร้อม at-spi2-core

หมายเหตุ: ref ผูกกับ snapshot ของมัน ถ้า UI เปลี่ยน action จะคืน STALE_REF หรือ AMBIGUOUS_TARGET ให้ snapshot ใหม่แล้วใช้ ref ใหม่ ส่วนใครใช้ PowerShell ต้อง quote ทุก ref เช่น '@s8f3k2p9:e8' เพราะ @token เปล่าคือ splatting operator

ข้อควรรู้

• License: Apache-2.0 ใช้ได้ทั้งส่วนตัวและเชิงพาณิชย์ ตามเงื่อนไขของ license
• ความสดใหม่: สร้าง repo เมื่อ 19 ก.พ. 2026 และมี push ล่าสุด ณ 3 พ.ย. 2026 (ตามข้อมูลสถิติ ณ วันเดียวกัน มี open issues 122 ข้อ)
• ข้อจำกัด: มี 4 commands (key-down, key-up, mouse-down, mouse-up) ที่ยังปฏิเสธการรันจนกว่า daemon จะปล่อย key/button ที่ถูกกดค้างอยู่ | ฝั่ง Linux บางอย่างจำกัดตาม X11/Wayland เช่น mouse input ทำได้บน X11, clipboard บน Wayland ต้องมี wl-clipboard, notifications รองรับเฉพาะ GNOME Shell | Shell surfaces (open-system-surface) บน macOS ยังเป็น "Planned" | Homebrew และ Scoop อย่างเป็นทางการ กำลังยื่นขึ้น default catalogs แต่ยังไม่พร้อม
• เรื่องความเป็นส่วนตัว: snapshot, clipboard, screenshot, command output และ debug artifacts อาจมีเนื้อหาส่วนตัวของเดสก์ท็อป ควรเลี่ยงการเอาไปลง public logs หรืออัปโหลด (optional JEV helper จะส่ง screen description ไปยัง model provider ที่ตั้งค่าไว้ และแยกจาก native CLI)

🔗 https://github.com/vercel-labs/agent-desktop

ข้อมูลจาก GitHub ณ 3 พ.ย. 2026: ⭐ 9,614 | ภาษา Rust | license Apache-2.0