Bài toán

Chọn thuật toán điều hướng cho một kho cụ thể là quyết định tốn kém và khó rút lại, nhưng phần lớn cơ sở để chọn lại đến từ những thứ không so được với nhau: một con số trong paper chạy trên map khác, một lần demo may mắn, một bảng benchmark không nói nó chạy bao nhiêu lần.

Đo trên robot thật thì đắt, chậm và không lặp lại được — mỗi lượt tốn hàng chục phút, cần robot rảnh và kho trống, và tình huống vừa hỏng thì không dựng lại được. Ngay cả khi đã đo, phép so vẫn hỏng theo ba cách: không cùng điều kiện, không đủ số lần chạy, và kết luận nghe mạnh hơn dữ liệu.

Giải pháp

PlanBench là tầng ra quyết định đứng trên một nền giao thức đánh giá công bằng. Người dùng khai một triển khai — map, robot, cảm biến và nhiễu, mission, vật cản động, ngưỡng khả thi, trọng số mục tiêu — rồi hệ thống chấm các ứng viên trên đúng thế giới đó và chỉ ra cái đáng dùng nhất.

Bốn nguyên tắc kỹ thuật:

• Công bằng đo được, không phải hứa. Cùng map, cùng scenario, cùng seed, cùng vật cản động ở cùng thời điểm — mỗi điều kiện mang checksum. Episode ghép cặp theo episode_context, hiệu số tính theo từng cặp chứ không giữa hai trung bình rời nhau.
• Cổng tách khỏi điểm số. Sáu cổng khả thi G1–G6 chạy trước mọi phép chấm điểm và cả sáu luôn chạy: chấm điểm trả lời "cái nào tốt hơn", cổng trả lời "cái này có được xét không". Một stack va chạm không được cứu bằng việc nó nhanh.
• Kết luận không vượt quá bằng chứng. Mọi con số đi kèm khoảng tin cậy 95% bootstrap và số episode đứng sau. Khoảng tin cậy vắt qua 0 thì thẻ quyết định nói thẳng là run này không chứng minh được chênh lệch nó báo. Có một danh sách chữ hệ thống không được phép nói, kèm hàm kiểm và test CI canh.
• Nói được vì sao, không chỉ ai thắng. Thang bằng chứng bốn mức (observed → associated → mechanism_verified → intervention_supported), không có mức thứ năm cho "không biết" — thiếu bằng chứng nghĩa là không có claim.

Các tính năng trong bản MVP

• Triển khai — khai thế giới cần đo bằng form hoặc YAML; không một ngưỡng nào viết cứng trong code.
• Sân thử — chạy thử một episode, xem quỹ đạo, clearance, latency planner theo thời gian thực trước khi phóng phép so dài.
• Quyết định — phép so ghép cặp giữa hai ứng viên. Stack đã đăng ký: astar+dwa, astar+dwa_predictive, rrtstar+dwa, rrtstar+dwa_predictive, , , .