Bài toán

Robot di động trong nhà như robot kho hàng, robot giám sát hoặc robot hỗ trợ vận hành thường thu thập dữ liệu từ camera, nhưng người vận hành chỉ nhìn thấy hình ảnh thô và khó hiểu nhanh tình huống. Khi robot gặp vật cản, con người hoặc khu vực có nguy cơ va chạm, hệ thống cần không chỉ cảnh báo mà còn giải thích vì sao tình huống đó nguy hiểm.

Giải pháp

IndoorScene AI là hệ thống web giúp phân tích ảnh/video từ camera robot bằng AI. Người dùng có thể đăng nhập, upload ảnh/video hoặc frame mô phỏng từ robot, sau đó hệ thống sẽ phân tích cảnh quan, nhận diện vật thể, đánh giá mức độ rủi ro và trả về mô tả dễ hiểu.

Kết quả phân tích bao gồm:

• Danh sách vật thể trong cảnh.
• Bounding box hoặc bằng chứng liên quan.
• Mô tả tình huống.
• Mức độ rủi ro: safe, warning hoặc danger.
• Cảnh báo vận hành.
• Câu trả lời từ AI khi người dùng hỏi thêm về scene.

Người dùng mục tiêu

Hệ thống hướng tới hai nhóm người dùng chính:

• Operator: người vận hành robot, cần theo dõi camera, xem cảnh báo, hỏi AI và xem lại lịch sử phân tích.
• Admin: người quản trị hệ thống, cần quản lý tài khoản, cấu hình risk rules và theo dõi trạng thái hệ thống.

Phương pháp kỹ thuật

Hệ thống sử dụng frontend React để hiển thị dashboard, live monitor, scene log và settings. Backend được xây dựng bằng FastAPI, cung cấp API cho authentication, phân quyền, phân tích scene, hỏi đáp và quản lý logs. MongoDB được dùng để lưu user, scene logs, chat messages và risk rules.

AI Core được thiết kế theo hướng 3D-R1 style scene reasoning. Trong MVP, hệ thống dùng mock reasoner để đảm bảo demo end-to-end ổn định. Khi tích hợp model thật, backend có thể gọi external GPU inference endpoint thông qua biến cấu hình SCENE_REASONER_URL.

Tính khả thi

MVP hiện có các thành phần chính:

• Giao diện đăng nhập/đăng ký.
• Dashboard theo dõi cảnh báo.
• Live Monitor để upload ảnh/video và phân tích scene.
• Scene Q&A để hỏi AI về tình huống.
• Scene Logs để lưu, xem và lọc lịch sử phân tích.
• Admin settings để quản lý user và risk rules.
• Docker cho backend và MongoDB.

Với model thật, hệ thống sử dụng định hướng Qwen2.5-VL-3B-Instruct kết hợp LoRA adapter. Do model tương đối nặng, hướng deploy phù hợp là tách AI inference thành GPU service riêng, trong khi frontend/backend chạy trên VPS hoặc cloud server thông thường.

Kết quả ban đầu

Theo evaluation hiện tại:

• Mock analyze latency khoảng 5 ms.
• Mock ask latency khoảng 3 ms.