PickPilot giải quyết bài toán bin picking trong logistics và sản xuất thông minh: robot cần nhận diện vật thể, ước lượng vị trí và thực hiện thao tác gắp-thả chính xác, nhưng các hệ thống công nghiệp thường đắt và phức tạp. Dự án chọn hướng prototype tối ưu chi phí bằng cách dùng iPhone làm cảm biến thị giác, robot hút 3DoF nhỏ gọn và một console điều khiển tập trung.

Về kỹ thuật, iOS Vision chạy YOLO/CoreML trực tiếp trên thiết bị để nhận diện 4 lớp nắp chai: blue, green, red, white, đồng thời dùng ARKit để ước lượng khoảng cách/kích thước. Backend FastAPI đóng vai trò control plane: quản lý robot, thiết bị vision, calibration, task, IK, safety gate và gửi lệnh WebSocket tương thích firmware tới ESP32-S3. Frontend Next.js Mission Control cung cấp giao diện vận hành, digital twin 3D, điều khiển thủ công, request detection và start/stop autonomous loop.

Tính khả thi đến từ việc các phần lõi đã có implementation/reference: iOS Vision app, pipeline training YOLO26x/CoreML, firmware ESP32-S3, dashboard nhúng và milestone Mission Control ban đầu. Hướng phát triển tiếp theo là hoàn thiện backend-mediated autonomous picking, chuẩn hóa telemetry/ACK từ firmware, củng cố calibration camera-robot, thêm recovery flow sau lỗi/khẩn cấp và triển khai phiên bản ổn định hơn cho demo vận hành thực tế.