Mỗi Ground Truth gồm:

• is_incident — xác định video có xảy ra sự cố hay không.
• incident_type — xác định loại sự cố thực tế.
• timeline — mô tả các mốc thời gian và diễn biến chính của sự kiện.
• evaluation_events — các sự kiện quan trọng được sử dụng làm dữ liệu tham chiếu để đánh giá output.

MVP Evaluation

Evaluation được thực hiện theo hai tầng:

1. Incident Detection

Đánh giá VLens có xác định đúng video có sự cố hay không có sự cố dựa trên Ground Truth is_incident.

2. Incident Classification

Với các video có sự cố, đánh giá VLens có phân loại đúng incident_type hay không giữa:

vehicle_collision • crossing_collision • pedestrian_collision • environment_collision

Các prediction của VLens được đối chiếu với Ground Truth để đánh giá bằng các metric:

• Precision — trong các sự kiện mà VLens dự đoán, đo tỷ lệ prediction thực sự đúng so với Ground Truth. Precision cao cho thấy hệ thống tạo ra ít False Positive.

• Recall — trong các sự kiện thực sự tồn tại trong Ground Truth, đo tỷ lệ sự kiện mà VLens phát hiện được. Recall cao cho thấy hệ thống ít bỏ sót sự kiện.

• F1-score — trung bình điều hòa giữa Precision và Recall, dùng để đánh giá sự cân bằng giữa khả năng phát hiện đúng và hạn chế bỏ sót hoặc dự đoán sai.

Ngoài khả năng phát hiện và phân loại sự cố, VLens còn được đánh giá về khả năng xác định đúng thời điểm và khoảng thời gian xảy ra sự kiện thông qua:

• Median t0 Error — đo sai lệch giữa thời điểm bắt đầu sự kiện (t0) mà VLens dự đoán và thời điểm bắt đầu được xác định trong Ground Truth. Sai số được tính theo giây cho từng sự kiện và lấy giá trị median trên tập evaluation. Giá trị càng thấp càng tốt.

  t0 Error = |t0_pred − t0_GT|

• Temporal IoU (Intersection over Union) — đo mức độ chồng lấp giữa khoảng thời gian sự kiện VLens dự đoán và khoảng thời gian sự kiện trong Ground Truth.

  Temporal IoU = Intersection(predicted interval, GT interval) / Union(predicted interval, GT interval)

  Temporal IoU nằm trong khoảng 0–1; giá trị càng gần 1 cho thấy VLens xác định khoảng thời gian diễn ra sự kiện càng sát với Ground Truth.

Như vậy, evaluation của MVP xem xét hai khía cạnh:

Event Detection & Classification → Precision • Recall • F1-score

Temporal Grounding → Median t0 Error • Temporal IoU

Do tập đánh giá hiện tại gồm 12 video, các kết quả được xem là Preliminary MVP Evaluation, nhằm kiểm chứng pipeline, khả năng nhận diện sự cố và khả năng grounding output của VLens theo timeline trước khi mở rộng sang dataset và benchmark có quy mô lớn hơn.