รีวิว ESP32 iPhone Agent — ให้ AI ใช้ iPhone จริงด้วยบอร์ดราคาประมาณ 7 ดอลลาร์

คืออะไร

ESP32 iPhone Agent คือโปรเจกต์ที่ให้ AI ใช้งาน iPhone เครื่องจริงได้ ด้วยบอร์ด ESP32-S3 ราคาประมาณ 7 ดอลลาร์ ใช้แค่โทรศัพท์กับบอร์ด ไม่ต้องมีคอมพิวเตอร์ตอนใช้งาน ไม่ต้อง jailbreak

หลักการคือ บอร์ดเป็นทั้ง "ตา" และ "มือ" ส่วน "สมอง" คือแอปบน iPhone เครื่องเดียวกัน

• ตา: บอร์ดเปิด Wi-Fi hotspot ของตัวเองและเป็นตัวรับ AirPlay iPhone ส่ง Screen Mirroring มาที่บอร์ด แล้วบอร์ดส่งภาพต่อให้แอปผ่าน BLE
• มือ: บอร์ดทำตัวเป็นเมาส์และคีย์บอร์ด USB เปิด AssistiveTouch แล้วคลิกก็คือแตะ ลากก็คือปัด
• สมอง: แอปส่งภาพหน้าจอไปให้ vision model ที่รองรับ OpenAI-compatible API แล้วสั่ง แตะ ปัด พิมพ์ กดปุ่ม กลับหน้าโฮม

จุดเด่น

• ใช้ vision model ตัวไหนก็ได้ที่เป็น OpenAI-compatible ทั้ง cloud API หรือเซิร์ฟเวอร์ของเราเอง เช่น vLLM, SGLang, llama.cpp, Ollama และแยกโมเดล planner กับ actor ได้
• ก่อนแตะจุดที่ต้องแม่นยำ แอปจะขยับ pointer หาตำแหน่งบนจอแล้วแก้ถ้าพลาด
• ถ้าบอร์ด hotspot หรือ mirroring หลุด จะหยุดรอแล้วทำต่อจากขั้นเดิม
• ทุกรันเก็บไว้ในเครื่อง ดูย้อนทีละขั้นได้ และ export ภาพหน้าจอกับ action ให้ agent ตัวอื่นวิเคราะห์ต่อ
• สั่งงานที่บันทึกไว้ผ่าน Siri, Shortcuts, widget และ Control Center ได้
• prompt เป็นไฟล์ข้อความธรรมดาในโฟลเดอร์ prompts/ แก้แล้ว build ใหม่ได้เลย

เหมาะกับใคร

• สาย maker และ hardware hacker ที่อยากลองทำ AI agent คุมมือถือจริง
• คนที่ทำวิจัยหรือทดลองเรื่อง phone-use agent / computer-use agent
• dev iOS ที่อยากดูตัวอย่างการต่อ BLE, H.264 และ USB HID เข้ากับ AI

เริ่มต้นใช้งาน

ต้องมีบอร์ด ESP32-S3 ที่มี native USB และ PSRAM (ผู้พัฒนาทดสอบกับ Seeed Studio XIAO ESP32S3 รุ่นธรรมดา), iPhone iOS 18 ขึ้นไปที่มีเน็ตมือถือ และ Mac ที่มี Xcode สำหรับ flash บอร์ดและ build แอปครั้งแรก

1. ติดตั้ง arduino-cli, ESP32 core 3.3.x และ NimBLE-Arduino 2.5.x แล้ว flash บอร์ด

arduino-cli lib install "NimBLE-Arduino@2.5.1"
hardware/flash.sh            # optional: [serial port] [--debug]

2. ติดตั้งแอป

cp ios/Config/Local.xcconfig.example ios/Config/Local.xcconfig   # set DEVELOPMENT_TEAM and IA_BUNDLE_ID
open ios/IPhoneAgent.xcodeproj                                    # run the IPhoneAgent scheme on your iPhone

3. เสียบบอร์ดเข้า iPhone เปิดแอป ESP32 Agent แล้วทำตาม setup 4 ขั้น (จับคู่ Bluetooth, ต่อ Wi-Fi ของบอร์ดและเปิด Screen Mirroring, เปิด AssistiveTouch, ใส่ endpoint และ key ของโมเดล)
4. พิมพ์เป้าหมาย เช่น "Open Settings and go to Wi-Fi" แล้วกด Start

ข้อควรรู้

• ⚠️ README เตือนให้ทำตามขั้นตอนติดตั้งใน README เท่านั้น ห้ามรันคำสั่งจาก issue หรือคอมเมนต์ (เช่นคำสั่ง "quick install" บรรทัดเดียว) เพราะไม่ได้มาจากผู้ดูแล
• BLE ส่งข้อมูลได้ราว 300-500 kbps ภาพที่ AI เห็นจึงเล็กและไม่เกิน 5 fps แต่ละขั้นใช้เวลาหลายวินาที
• บางหน้าจอ iOS ไม่ mirror เช่น ใส่รหัส Apple Pay และวิดีโอ DRM, พิมพ์ได้แค่ ASCII (ยังพิมพ์ไทยไม่ได้) และยังไม่รองรับแอปแนวนอน
• Apple ID ฟรี sign แอปได้แต่ต้อง re-sign ทุก 7 วัน และแอปใช้ private API ของ iOS อยู่
• ใช้กับเครื่องและบัญชีของตัวเองเท่านั้น และควรเฝ้าดูตอนมันทำงาน
• License MIT สร้างเมื่อ 11 ต.ค. 2026 push ล่าสุด 17 ต.ค. 2026

🔗 https://github.com/onehumanbeing/esp32-iphone-agent

ข้อมูลจาก GitHub ณ 17 ต.ค. 2026: ⭐ 2,880 | ภาษา C | license MIT