2. GIẢI PHÁP KỸ THUẬT

GraspTransfer sử dụng kiến trúc VLA phân cấp gồm tầng nhận thức và lập kế hoạch cấp cao, tầng sinh chuyển động cấp thấp, cùng các lớp an toàn, HITL và đánh giá độc lập.

[ Ảnh RGB / Webcam / Preset + Câu lệnh VI hoặc EN ]
                         |
                         v
               [ React Web Dashboard ]
                         |
                         v
              [ FastAPI Backend API ]
                         |
                         v
              [ LangGraph Orchestrator ]
                         |
          +--------------+--------------+
          |                             |
          v                             v
[ Perception Provider Cascade ]   [ Request Validation ]
 Gemini Vision                    Pydantic Schema
 vLLM Vision                      Input Bounds
 GraspVLA Bridge                  Upload Validation
 Deterministic Fallback
          |
          v
[ Affordance 2D + Pose 6D + Action + Subgoals + Provenance ]
          |
          v
[ Low-Level Motion Generation ]
 Analytic 7-DoF IK hoặc Local Franka Policy
          |
          v
[ Trajectory N x 7 + Joint-Limit Validation ]
          |
          +--------------------------+
          |                          |
          v                          v
[ Three.js Digital Twin ]    [ SQLite Trial Storage ]
 Playback / Scrub / Replay    Trajectory Hash / Audit
          |                          |
          +-------------+------------+
                        |
                        v
              [ HITL Review Console ]
         AI Engineer / Safety Auditor
              Approve hoặc Reject
                        |
                        v
          [ Approved Simulation Replay ]
                        |
                        v
             [ Live Trials & Metrics ]

2.1. Tầng nhận thức và lập kế hoạch cấp cao

Tầng nhận thức tiếp nhận:

• Ảnh RGB từ preset, file upload hoặc webcam.
• Câu lệnh tự nhiên bằng tiếng Việt hoặc tiếng Anh.
• Chiến lược chuyển động được người dùng lựa chọn.
• Pose đích đầy đủ trong trường hợp pick-and-place.

Hệ thống sử dụng chuỗi provider theo thứ tự:

1. Gemini Vision
2. vLLM hoặc OpenAI-compatible Vision Server
3. GraspVLA Bridge
4. Deterministic Fallback

Đầu ra được chuẩn hóa thành một contract thống nhất, bao gồm:

• Điểm affordance 2D (u, v).
• Pose gắp 6D (x, y, z, roll, pitch, yaw).
• Hành động dự kiến.
• Danh sách subgoal.
• Độ tin cậy.
• Provider provenance.
• Trạng thái perception.

Hệ thống chỉ sử dụng ba nhãn provenance công khai:

• real_vlm: Kết quả đến từ provider VLM thực.
• graspvla_server: Kết quả đến từ GraspVLA bridge.
• fallback: Kết quả đến từ heuristic xác định.

Fallback giúp pipeline tiếp tục hoạt động khi provider bên ngoài timeout, lỗi mạng hoặc trả dữ liệu sai cấu trúc. Tuy nhiên, fallback không được tính là suy luận VLM thực trong các chỉ số đánh giá perception.

2.2. Tầng sinh chuyển động cấp thấp

Sau khi nhận pose mục tiêu, tầng chuyển động chuyển đổi pose thành trajectory cho robot Franka Panda 7 bậc tự do.

Hệ thống hỗ trợ hai hướng sinh quỹ đạo:

• Analytic Inverse Kinematics: Giải động học nghịch từ pose mục tiêu.
• Local Franka Policy: Sử dụng checkpoint cục bộ checkpoints/franka_policy_v1.pt để tạo residual trajectory, sau đó neo điểm đầu và điểm cuối vào nghiệm IK đã được kiểm tra.

Nếu neural policy không sẵn sàng, hệ thống có thể chuyển sang trajectory fallback và ghi rõ nguồn trong trường trajectory_source.

Trajectory tiêu chuẩn có cấu trúc:

[
  [q1, q2, q3, q4, q5, q6, q7],
  ...
]

Trong đó:

• Mỗi waypoint có đúng 7 góc khớp.
• Đơn vị góc là radians.
• Mọi giá trị phải hữu hạn.
• Mỗi góc phải nằm trong giới hạn vật lý của Franka Panda.
• Trajectory gắp tiêu chuẩn có 29 waypoints.
• Chiến lược rotate hoặc pick-and-place có thể tạo 35 waypoints.

Quỹ đạo gắp tiêu chuẩn gồm các pha:

Rest -> Approach (+0.15 m) -> Grasp -> Lift (+0.20 m)

Workspace được kiểm soát theo:

• Độ cao z trong khoảng an toàn từ 0.05 m đến 0.85 m.
• Khoảng cách theo mặt phẳng XY từ tâm robot nằm trong khoảng 0.15 m đến 0.85 m.
• Giới hạn riêng cho từng khớp Franka Panda.

2.3. Kiểm soát an toàn đa tầng

GraspTransfer không chuyển trực tiếp đầu ra của VLM thành lệnh thực thi. Pipeline áp dụng nhiều lớp kiểm tra:

1. Schema Validation
   Kiểm tra cấu trúc request, response, pose, affordance và trajectory bằng Pydantic.

2. Workspace Validation
   Giới hạn pose trong vùng làm việc cho phép của robot.

3. Joint-Limit Validation
   Kiểm tra toàn bộ waypoint theo giới hạn bảy khớp Franka Panda.

4. Finite-Value Validation
   Loại bỏ NaN, Infinity và các giá trị số không hợp lệ.

5. Trajectory Integrity
   Kiểm tra số chiều [N][7], tính liên tục và khả năng sử dụng của trajectory.

6. Trajectory Hash Binding
   Kế hoạch được duyệt gắn với hash của trajectory. Nếu trajectory bị thay đổi sau khi duyệt, token không còn hợp lệ.

7. One-Time Approval Token
   Token phê duyệt chỉ được trả về một lần, lưu dưới dạng hash và có thời hạn mặc định 300 giây.

8. Emergency Stop
   E-Stop thay đổi trạng thái an toàn toàn cục, tăng safety revision và thu hồi các token đang hoạt động.

9. Authorized Safety Reset
   Reset E-Stop yêu cầu thông tin xác thực của operator và tạo safety revision mới.

2.4. Quy trình Human-in-the-Loop

HITL Review Console hỗ trợ hai vai trò:

• AI Engineer: Kiểm tra perception result, pose, trạng thái IK, trajectory source và các waypoint.
• Safety Auditor: Xem dữ liệu đầu vào, đánh giá kế hoạch, ghi chú và đưa ra quyết định phê duyệt hoặc từ chối.

Quy trình phê duyệt:

Prediction
    |
    v
Reviewed Plan được lưu trong SQLite
    |
    v
Kiểm tra Pose + IK + Trajectory + Provenance
    |
    +---------- Reject ----------> Audit Log
    |
  Approve
    |
    v
Sinh One-Time Approval Token
    |
    v
Execute Approved
    |
    v
Xác minh Token + Trial + Expiry + Safety Revision + Trajectory Hash
    |
    v
Simulation Replay

Mỗi quyết định được lưu trong audit log với các thông tin như:

• Audit ID.
• Trial ID.
• Vai trò reviewer.
• Quyết định approve hoặc reject.
• Ghi chú.
• Thời điểm phê duyệt.
• Hash kế hoạch được duyệt.

Dữ liệu và log của dự án được thiết kế theo nguyên tắc không lưu PII. API key, token và thông tin bí mật không được đưa vào source code, ảnh chụp hoặc tài liệu.

2.5. Web Dashboard và 3D Digital Twin

Dashboard được xây dựng bằng React, FastAPI và Three.js, gồm ba khu vực chính.

3D Twin & Execution

• Chọn ảnh preset.
• Upload ảnh từ thiết bị.
• Chụp ảnh từ webcam.
• Nhập prompt tiếng Việt hoặc tiếng Anh.
• Chọn chiến lược chuyển động.
• Nhập placement pose cho pick-and-place.
• Gọi prediction API.
• Hiển thị affordance và pose.
• Hiển thị perception provenance.
• Hiển thị trạng thái IK và độ trễ.
• Phát trajectory thật từ API trên mô hình Three.js.
• Pause, replay, scrub và xem lại lịch sử.
• Kích hoạt E-Stop và reset trạng thái an toàn.

HITL Review Console

• Chuyển đổi vai trò reviewer.
• Xem dữ liệu prediction và trajectory.
• Nhập ghi chú kiểm định.
• Approve hoặc reject kế hoạch.
• Theo dõi trạng thái token và execution.
• Ngăn thực thi khi token hết hạn, đã sử dụng hoặc bị E-Stop thu hồi.

Live Trials & Metrics

• Tổng số trial.
• Grasp success rate.
• Technical success rate.
• Real perception rate.
• Average latency.
• HITL approval rate.
• Phân bố provider.
• Phân bố IK result.
• Phân tích failure mode.
• Kết quả theo loại scene và loại vật thể.

Dashboard production có thể sử dụng trực tiếp tại:

https://grasptransfer-t094.up.railway.app

2.6. Simulation và dữ liệu huấn luyện

Hệ thống cung cấp simulation evaluation qua PhysicsSimEngine.

Kết quả mô phỏng có thể bao gồm:

• Trạng thái gắp vật thể.
• Độ cao nâng vật thể.
• Lực tiếp xúc lớn nhất.
• Trạng thái va chạm.
• Chuỗi trạng thái vật lý.
• Simulation engine được sử dụng.
• Độ trễ đánh giá.

Engine hỗ trợ hai chế độ:

• Native MuJoCo, khi runtime có đầy đủ MuJoCo.
• Analytical Simulation, khi native MuJoCo không khả dụng.

Tại thời điểm báo cáo, deployment Railway đang hoạt động ở analytical simulation mode với is_mujoco_native: false.

Pipeline tạo dữ liệu trong thư mục training/ hỗ trợ:

• Camera world_camera và wrist_camera.
• Ảnh đầu vào kích thước 224 x 224.
• Cấu trúc dữ liệu tương thích LeRobot v2/v3 và NVIDIA PhysicalAI.
• Lưu state, action, video và metadata.
• Parquet hoặc NPZ fallback.
• Dataset sharding và merge.
• Các task basic grasp, cluttered grasp, high lift và pick-and-place.
• Các vật thể held-out chưa xuất hiện trong tập train.
• Domain randomization cho ánh sáng, camera, ma sát, khối lượng, tâm khối, damping, màu bàn và nhiễu ảnh.

2.7. Giao diện API

Các API chính của hệ thống:

3. KẾT QUẢ ĐÁNH GIÁ

3.1. Live Operational Metrics

Snapshot từ Live Metrics API ngày 01/09/2026:

Các số liệu trên là snapshot vận hành tích lũy và có thể thay đổi khi người dùng thực hiện thêm trial.

Grasp Success Rate chỉ tính các trial sử dụng real perception và có IK khả dụng. Technical Success Rate bao gồm cả deterministic fallback, vì vậy hai chỉ số không nên được diễn giải giống nhau.

Robustness và domain degradation trên dashboard là các chỉ báo tổng hợp được tính từ success rate. Chúng không thay thế cho benchmark Sim-to-Real có cặp dữ liệu clean và near-real được kiểm soát độc lập.

3.2. Đánh giá cuối cùng cố định

Bộ đánh giá cuối cùng được chạy ngày 28/08/2026 trên commit:

b4769c3e185904a4d7b86c6ccb9d4360bbc2ab24

Cấu hình đánh giá:

• Model: gemini-3.1-flash-lite
• Judge model: gemini-3.5-flash-lite
• Model cases: 30
• System cases: 6
• Ngôn ngữ: 27 tiếng Việt và 3 tiếng Anh

Điểm judge theo tiêu chí:

Bảy phép biến đổi ảnh trong tập perturbation đều duy trì tỷ lệ thực thi pipeline 100%:

• Giảm độ sáng.
• Tăng độ sáng.
• Thêm nhiễu.
• Làm mờ.
• Nén JPEG.
• Crop và resize.
• Che khuất một phần.

Kết quả cho thấy pipeline có độ ổn định cao về schema, workspace, IK và trajectory. Hạn chế chính của bộ đánh giá cuối cùng nằm ở độ chính xác affordance, latency và sự không khớp giữa prompt với nội dung của một số scene đánh giá.

3.3. Chất lượng mã nguồn

Kết quả kiểm thử trực tiếp trên môi trường dự án ngày 01/09/2026:

Lệnh kiểm tra:

.\.venv\Scripts\python.exe -m pytest tests\ --cov=src --cov-report=term --cov-fail-under=85 -q
.\.venv\Scripts\python.exe -m ruff check src\ tests\

Pytest hiện phát sinh một số cảnh báo ResourceWarning liên quan đến kết nối SQLite chưa đóng hoàn toàn và một cảnh báo deprecation từ Starlette. Các cảnh báo này không làm test thất bại nhưng được ghi nhận là nợ kỹ thuật cần theo dõi.

4. TRẠNG THÁI HOÀN THIỆN VÀ PHẠM VI CUỐI CÙNG

GraspTransfer đã hoàn thiện các thành phần thuộc phạm vi simulation-first của dự án:

• Pipeline nhận ảnh và câu lệnh tự nhiên.
• Perception provider cascade.
• Provenance cho real VLM, GraspVLA và fallback.
• Sinh pose 6D và affordance 2D.
• Analytic IK và local Franka policy.
• Trajectory 29 hoặc 35 waypoints.
• Kiểm tra workspace và joint limits.
• Three.js Digital Twin.
• Playback, pause, replay và trajectory scrubber.
• HITL với hai vai trò.
• Approval token dùng một lần.
• Trajectory hash binding.
• E-Stop và authorized reset.
• SQLite trial storage và audit log.
• Live metrics dashboard.
• Physics evaluation API.
• Pipeline tạo dữ liệu MuJoCo và LeRobot.
• Unit test, integration test và system evaluation.
• Production deployment trên Railway.

4.1. Trạng thái triển khai

Hệ thống production đã được triển khai và có thể truy cập trực tiếp mà không cần tải mã nguồn hoặc cài đặt môi trường:

https://grasptransfer-t094.up.railway.app

Deployment đã được xác minh:

• Trang dashboard trả về HTTP 200.
• /health trả về trạng thái ok.
• Agent API ở trạng thái ready.
• Neural policy service ở trạng thái sẵn sàng.
• Static React application được phục vụ thành công.
• Live metrics API hoạt động.

4.2. Phạm vi sử dụng

Phiên bản hiện tại là hệ thống mô phỏng và đánh giá hoàn chỉnh. Các thao tác approve, execute và E-Stop điều khiển simulation replay trong Digital Twin, không gửi lệnh đến robot vật lý.

Hệ thống hiện không bao gồm:

• ROS hoặc ROS2 bridge.
• Franka Control Interface.
• Teleoperation robot thật.
• Điều khiển motor thời gian thực.
• Kiểm chứng va chạm trên phần cứng.
• Thử nghiệm grasp trực tiếp trên robot Franka thật.

Vì vậy, các kết quả trong báo cáo chứng minh khả năng vận hành của pipeline VLA, trajectory, HITL, safety và simulation. Chúng không được diễn giải là chứng nhận an toàn hoặc tỷ lệ thành công trên phần cứng robot thật.

5. KẾT LUẬN

GraspTransfer là một nền tảng simulation-first hoàn chỉnh cho bài toán robot grasping sử dụng kiến trúc VLA phân cấp.

Hệ thống tách riêng tầng nhận thức cấp cao và tầng sinh chuyển động cấp thấp, giúp kết quả có thể quan sát, kiểm tra và truy vết. Mỗi prediction đều cung cấp affordance, pose, provenance, trạng thái IK và trajectory cụ thể thay vì chỉ trả về một lệnh điều khiển hộp đen.

Các lớp kiểm tra workspace, joint limits, trajectory hash, approval token, E-Stop và HITL giúp ngăn việc thực thi mô phỏng trực tiếp từ đầu ra chưa được kiểm duyệt. Dashboard Three.js cho phép người dùng theo dõi toàn bộ luồng từ ảnh đầu vào đến prediction, trajectory, phê duyệt và simulation replay.

Tại thời điểm báo cáo, hệ thống đạt:

• 124 live operational trials.
• 88.71% real-perception grasp success.
• 100.00% technical success.
• 100.00% schema, workspace, usable IK và trajectory validity trong bộ đánh giá cuối cùng.
• 312/312 automated tests passed.
• 87.62% test coverage.
• Ruff 0 errors.
• Production deployment hoạt động trên Railway.

Những kết quả này chứng minh tính khả thi của kiến trúc VLA phân cấp, cơ chế HITL và quy trình đánh giá simulation-first trong phạm vi dự án.

Người dùng có thể trải nghiệm trực tiếp hệ thống tại:

[Mở GraspTransfer (https://grasptransfer-t094.up.railway.app)