Đang in số

Cầm cốc cà phê

Đang chạy mực qua máy in — từng lớp màu một, kiên nhẫn nhé!

VinViVu - Sensor Fusion & Perception Sandbox · AI·20K Demo Day Zine

№ 85

VinViVu - Sensor Fusion & Perception Sandbox

Nền tảng Camera–LiDAR Sensor Fusion & Perception Sandbox dành cho kỹ sư xe tự hành, hỗ trợ trực quan hóa không gian Bird's-Eye View (BEV) 3D, phân tích độ bền vững mô hình dưới đa điều kiện thời tiết (Multi-Corruptions) và quy trình review an toàn offline.

Bài toán đặt ra Trong phát triển hệ thống xe tự hành (Autonomous Driving), việc kết hợp đa cảm biến (Camera 360° + LiDAR) để tạo ra biểu diễn Bird's-Eye View (BEV) là yếu tố sống còn cho nhận thức không gian 3D. Tuy nhiên, các kỹ sư perception thường gặp khó khăn vì:

Thiếu một nền tảng thống nhất để đồng bộ và trực quan hóa dữ liệu Camera, Point Cloud, Bounding Box 3D và Occupancy Grid theo thời gian thực.
Khó khăn trong việc đánh giá và debug độ bền vững (robustness) của mô hình khi cảm biến bị suy giảm chất lượng (mưa bão, sương mù, ban đêm, camera bị che khuất).
Thiếu quy trình kiểm duyệt an toàn (Safety Review & Flagging) trước khi triển khai mô hình.

Giải pháp kỹ thuật BEV Vision là một nền tảng perception sandbox hoàn chỉnh từ input cảm biến đến output mô hình:

Kiến trúc Adapter linh hoạt: Thiết kế chuẩn Module (DatasetAdapter, ModelAdapter), dễ dàng mở rộng nhiều tập dữ liệu và mô hình AI.
Mô hình AI Core:
- BEVFusion: Dự đoán 3D Bounding Boxes và BEV Map Segmentation.
- OCCFusion: Tái tạo không gian 3D Occupancy Grid Prediction.
Multi-Corruption Benchmark: Sandbox mô phỏng hơn 7 loại biến dạng cảm biến môi trường thực tế (Rain, Fog, Night/Low-light, Motion Blur, LiDAR Dropouts) với nhiều mức độ nghiêm trọng.
Trực quan hóa 3D WebGPU: Tích hợp Rerun WebViewer trên nền WebGPU (với cơ chế WebGL Fallback tự động), đồng bộ timeline đa khung hình mượt mà trên trình duyệt.
Quy trình kiểm duyệt an toàn: Hỗ trợ phân quyền (Perception Engineer & Safety Reviewer), gắn cờ phát hiện ca lỗi (GENERATED → REVIEWED / FLAGGED).

Công nghệ sử dụng

Frontend: Next.js 16 (React, TypeScript, Tailwind CSS), Rerun WebAssembly SDK.
Backend API: FastAPI, Python 3.10, PyTorch 2.1, MMDetection3D, nuScenes Devkit.
Hạ tầng & Cloud: Google Cloud Platform (Compute Engine NVIDIA L4 GPU), Docker Compose, Caddy Reverse Proxy (HTTPS/TLS tự động).
Dataset: nuScenes Dataset.

Hướng phát triển tiếp theo

Mở rộng hỗ trợ thêm các bộ dữ liệu lớn: Waymo Open Dataset, nuPlan.
Tự động hóa phân cụm ca lỗi (Automatic Failure-case Clustering / Edge-case Detection).
Tích hợp pipeline đánh giá tự động (Continuous Evaluation Benchmark & Model Leaderboard).