Bài toán

Camera giám sát ghi lại lượng lớn dữ liệu video mỗi ngày, nhưng khi cần tìm một sự kiện cụ thể, người dùng thường phải xác định camera, khoảng thời gian và rà soát video thủ công. Quá trình này tốn thời gian, đặc biệt khi số lượng camera và dữ liệu ngày càng lớn.

---

Giải pháp kỹ thuật

CamSearch NL là hệ thống truy xuất dữ liệu camera bằng ngôn ngữ tự nhiên. Hệ thống được xây dựng theo hai pipeline chính: **xử lý dữ liệu camera **(ingestion) và truy xuất bằng ngôn ngữ tự nhiên (retrieval).

1. Xử lý và hiểu dữ liệu video Video camera được đưa qua mô hình Computer Vision để phát hiện và theo dõi đối tượng. Từ mỗi track, hệ thống lựa chọn các keyframe đại diện và sử dụng Vision-Language Model (VLM) để phân tích đặc điểm, hành động và bối cảnh của đối tượng.

Kết quả được tổ chức thành tracks, events, metadata và thông tin ngữ nghĩa, sau đó lưu trữ để phục vụ tìm kiếm. Video → Detection & Tracking → Keyframe Selection → VLM Caption → Tracks & Events → Searchable Data

2. Truy xuất bằng ngôn ngữ tự nhiên Khi người dùng nhập câu hỏi bằng tiếng Việt, hệ thống trước tiên viết lại truy vấn dựa trên ngữ cảnh hội thoại, giúp xử lý các cách diễn đạt như “lúc đó”, “người đó” hoặc các câu hỏi nối tiếp. Truy vấn sau đó đi qua Guardrail để kiểm tra các yêu cầu liên quan đến danh tính hoặc nằm ngoài phạm vi cho phép. Với truy vấn hợp lệ, hệ thống lập kế hoạch tìm kiếm bằng cách tách các điều kiện có cấu trúc như loại đối tượng, thời gian, camera/khu vực khỏi phần mô tả ngữ nghĩa. Quá trình retrieval kết hợp hai hướng: - Structured Filtering: lọc cứng theo loại đối tượng, thời gian, camera/khu vực. - Semantic Retrieval: tìm kiếm tương đồng ngữ nghĩa giữa mô tả của người dùng và dữ liệu video đã được phân tích.

Câu hỏi → Context Rewrite → Guardrail → Query Planning → Structured Filter + Semantic Retrieval → Ranking → Video Results + Evidence

Luồng tổng quát của hệ thống:

Video → Phân tích AI → Tracks & Events → Searchable Data → Natural Language Query → Retrieval & Ranking → Video Results

---

Guardrail & quyền riêng tư

Do dữ liệu camera có thể chứa thông tin nhạy cảm, CamSearch NL tích hợp lớp Guardrail trước quá trình truy xuất.

Hệ thống có khả năng:

• Nhận diện các yêu cầu liên quan đến danh tính nằm ngoài phạm vi cho phép.
• Từ chối các truy vấn không liên quan đến chức năng truy xuất camera.
• Giải thích lý do khi một yêu cầu bị từ chối.

Mục tiêu là hướng tới việc truy xuất đúng dữ liệu, đúng phạm vi và đúng mục đích.