Bài toán

Inspectra giải quyết bài toán kiểm định lỗi bề mặt trong công trình và sản xuất, đặc biệt là các lỗi như nứt, bong tróc, lộ nền, bất thường bề mặt. Cách kiểm tra thủ công hiện tại tốn thời gian, phụ thuộc nhiều vào kinh nghiệm người kiểm tra và khó lưu trữ bằng chứng theo từng lần kiểm định.

Mục tiêu của MVP là tạo một quy trình kiểm định có thể số hóa: người dùng đăng nhập, tải ảnh hoặc nhận ảnh từ camera/robot, hệ thống dùng AI để nhận diện lỗi, tạo ảnh đánh dấu/phân đoạn và lưu báo cáo theo từng tài khoản.

Giải pháp kỹ thuật

Inspectra gồm web app, backend API, pipeline VLM và luồng tích hợp ESP32-CAM/robot.

• Frontend dùng Next.js để cung cấp giao diện đăng nhập, dashboard, tải ảnh kiểm định, danh sách báo cáo và trang chi tiết báo cáo.
• Backend dùng FastAPI để xử lý xác thực JWT, phân quyền user/admin, lưu báo cáo, lưu artifact ảnh và nhận kết quả kiểm định.
• VLM sử dụng qwen/qwen3-vl-235b-a22b-instruct qua Novita để phân tích ảnh bề mặt, phát hiện lỗi và trả về kết quả có cấu trúc.
• Kết quả kiểm định gồm source image, JSON kết quả, ảnh overlay/segmentation và metadata báo cáo.
• Mỗi báo cáo gắn với user tạo ra nó, giúp người dùng chỉ xem dữ liệu của mình, còn admin có thể xem toàn bộ.
• ESP32-CAM/robot có CLI để chụp ảnh, chạy VLM local và upload kết quả lên web.

Với phần robot, MVP giữ ranh giới an toàn rõ ràng: camera chỉ dùng để chụp ảnh kiểm định, không dùng để quyết định robot đi đâu. Việc sinh waypoint phải dựa trên CAD/floorplan, planner deterministic và safety gate. Qwen3.6 nếu dùng cho robot chỉ đóng vai trò upper planner gợi ý thứ tự scan hoặc tham số quét, không điều khiển bánh xe.

Tính khả thi

MVP hiện đã có các phần cốt lõi hoạt động:

• Web app đã deploy online trên Railway.
• Backend API đã deploy và có endpoint upload/report.
• Người dùng có thể đăng nhập, tải ảnh, chạy VLM và xem báo cáo theo tài khoản.
• ESP32-CAM đã có CLI capture/inspect/upload để nối ảnh camera vào cùng luồng báo cáo.
• Model VLM đã được đánh giá trên subset SDNET2018 gồm 168 ảnh.

Kết quả evaluation hiện tại:

• Accuracy: 70.83%
• Precision: 100.00%
• FP = 0 trên tập test nhỏ, nghĩa là model không gắn nhầm ảnh không nứt thành nứt trong subset này.
• FN vẫn còn cao, cho thấy model vẫn bỏ sót nhiều ảnh nứt nhỏ, mờ khó để ý và cần cải thiện recall.

Điều này phù hợp với định vị MVP: hệ thống dùng VLM như công cụ sàng lọc và hỗ trợ người kiểm tra, chưa dùng kết quả AI làm tiêu chuẩn pass/fail cuối cùng.

Hướng phát triển

Các hướng phát triển tiếp theo: