Bài toán

Gán nhãn dữ liệu 3D LiDAR kết hợp camera cho xe tự hành hiện chủ yếu làm thủ công. Theo số liệu thực tế từ đội dữ liệu perception, một clip 30 giây (150 khung, ~50 vật thể mỗi khung, 7.500 khối 3D) tốn khoảng 15 ngày công của một người. Ở quy mô cần thiết để huấn luyện mô hình lái thực tế, cách làm này là bất khả thi về mặt toán học — không phải chậm, mà là không thể.

Giải pháp kỹ thuật

Re:Label là bản fork tuỳ biến của CVAT, bổ sung:

• Label Assist — model PointPillars đề xuất box 2D / cuboid 3D ngay trong canvas, người dùng giữ, sửa hoặc xoá.
• Gán nhãn hàng loạt — chạy model cho toàn bộ task từ menu Actions, không cần mở từng frame.
• Ngưỡng tin cậy riêng theo lớp — điểm tin cậy của các lớp không nằm trên cùng một thang (xe hơi đạt tới 0,96 còn người đi bộ không bao giờ vượt 0,53), nên một ngưỡng chung luôn vừa quá lỏng với lớp này vừa quá chặt với lớp kia. Ngưỡng mỗi lớp được đo trên tập chuẩn.
• Đối chiếu Camera–LiDAR — chiếu cuboid 3D xuống ảnh camera để kiểm tra trực quan; vật thể đang chọn được làm nổi bật ở cả hai khung nhìn.
• Khớp cuboid vào điểm LiDAR — tự căn chỉnh hộp theo đám mây điểm thật.
• Thuộc tính tự động — trạng thái chuyển động (đang chạy / đứng yên) suy ra từ vận tốc model dự đoán, thay vì bắt người gán nhãn tự phán đoán.
• Tab Models — mAP, NDS, Precision, Recall, F1 tổng thể và chi tiết theo từng lớp, đo trên tập chuẩn nuScenes theo đúng luật đánh giá chính thức.
• Lịch sử làm việc — ghi lại từng phiên, phân biệt rõ frame nào dùng AI hỗ trợ và frame nào làm tay, làm cơ sở đo tốc độ thực tế.
• Active learning - ưu tiên frame model ít chắc chắn nhất lên đầu hàng đợi, để người kiểm tra dồn công vào đúng chỗ cần nhất.
• Gán nhãn theo quỹ đạo (tracking) — thay vì tạo lại một hộp rời ở mỗi khung, model gán một danh tính duy nhất cho cùng một vật thể xuyên suốt nhiều khung hình, đối chiếu bằng instance_token chính thức của nuScenes. Trên toàn bộ v1.0-mini: 10.669 hộp gộp thành 2.957 quỹ đạo, giảm 72,3% số lần người dùng phải duyệt tay.
• Đo chất lượng quỹ đạo (tracking quality metrics) trên tab Models — bên cạnh mAP/NDS/Precision/Recall, tab Models còn hiển thị các chỉ số riêng cho việc ghép quỹ đạo: fragmentation, ID switches, track purity, false positive rate — để biết quỹ đạo AI gán có đáng tin trước khi người dùng dựa vào nó.
• Điều hướng theo vật thể (object-centric navigation) được sửa đúng theo hành vi mong đợi — bấm chọn một vật thể rồi bấm nút tới/lùi khung hình mốc (keyframe) kế tiếp giờ tự động làm nổi bật đúng vật thể đó ở khung mới, thay vì chuyển khung nhưng bỏ lại lựa chọn cũ.