Mô tả dự án

Bài toán

Điều khiển cánh tay robot thường yêu cầu lập trình chuyển động hoặc thao tác qua giao diện chuyên dụng. Dự án đặt mục tiêu cho phép người dùng ra lệnh bằng tiếng Việt tự nhiên (ví dụ: "gắp quả táo bỏ vào giỏ") và robot tự thực hiện. Việc này đặt ra ba yêu cầu chính: (1) hiểu đúng ý định từ khẩu lệnh, (2) nhận diện vật thể trong không gian làm việc, và (3) thực hiện chuỗi hành động nhiều bước một cách an toàn.

Giải pháp kỹ thuật

Hệ thống chuyển khẩu lệnh thành hành động robot qua các lớp sau:

• Hiểu lệnh (Omni-model): Sau giai đoạn R&D, dự án chốt kiến trúc gửi audio trực tiếp vào một LLM đa phương thức (Qwen3.5-omni-flash) thay vì pipeline rời STT → văn bản → LLM. Cách này giảm số thành phần trung gian và độ trễ. Đầu ra là intent dạng JSON (tool_name + arguments), validate qua Pydantic schema trước khi thực thi. Ở chế độ đơn lệnh, audio đi thẳng vào omni-model để sinh intent; ở chế độ Agent đa bước, audio được transcribe + plan (một lượt LLM riêng) thành text trước khi vào ReAct loop.
• Lập kế hoạch đa bước (ReAct Agent): Với tác vụ cần nhiều bước (quét vật → gắp → đặt), một orchestrator theo mô hình ReAct cho LLM lập kế hoạch, quan sát kết quả từng bước qua observation loop, và điều chỉnh bước tiếp theo. Có giới hạn 10 bước, sliding window 5 turn, và circuit breaker 3 lần retry để tránh lặp vô hạn.
• Nhận diện vật thể (Computer Vision): YOLO (Ultralytics, weights yolo26n.pt) chạy trên ảnh từ camera gắn ở gripper, kết hợp depth buffer để tính toạ độ 3D (world pose) của vật thể trên bàn.
• Thực thi (Simulator): Robot Franka Emika Panda (7-DoF) trong MuJoCo. Backend chỉ trả intent JSON; client robot_sim nhận intent và thực thi cục bộ trên simulator (kiến trúc client-side dispatch, phù hợp kịch bản backend ở xa).
• An toàn vận hành: IK dry-run kiểm tra vùng với tới trước mỗi lệnh di chuyển; target ngoài vùng hoạt động bị từ chối và robot không di chuyển. Các cơ chế chống báo hoàn thành giả (finish_task(task_completed) bị chặn ở bước 0 khi chưa tool nào chạy, tool-call-in-text guard).

Tính khả thi

• POC đã chạy end-to-end: simulator MuJoCo, 13 tool (12 điều khiển robot + finish_task cho Agent), YOLO perception, và ReAct Agent đa bước.
• Backend FastAPI đã deploy tại https://c2-app-015.hadp.id.vn, kèm monitoring (Prometheus), trace logger (SQLite) và dashboard theo dõi phiên/chi phí.
• Hỗ trợ cả điều khiển đơn lệnh (single-shot) và đa bước (Agent multi-step).