Bài toán

Tại các điểm kiểm soát ra vào, nhân viên an ninh thường phải quan sát cùng lúc nhiều màn hình camera và xử lý liên tục các tín hiệu: người chưa được nhận diện, khuôn mặt bị che khuất, đối tượng lảng vảng quanh cổng hoặc có hành vi bám đuôi (tailgating). Tuy nhiên, tín hiệu thô từ camera thường chưa đủ ngữ cảnh để kết luận vi phạm ngay lập tức. Nếu hệ thống cảnh báo quá nhạy sẽ gây ra hiện tượng nhiễu cảnh báo (alert fatigue), khiến bảo vệ phớt lờ cảnh báo thật; ngược lại, nếu bỏ sót có thể tạo ra rủi ro an ninh nghiêm trọng. Bên cạnh đó, việc nhân viên an ninh phải tra cứu lịch sử sự kiện qua các phần mềm rời rạc và tổng hợp báo cáo ca trực thủ công tiêu tốn rất nhiều thời gian.

Giải pháp kỹ thuật

• Vision Pipeline: Ứng dụng YOLO11n để phát hiện người (tốc độ cao), ByteTrack để bám vết đối tượng, SCRFD để cắt (crop) khuôn mặt và InsightFace (ArcFace 512D) để trích xuất đặc trưng danh tính.
• Deterministic Rule Engine: Xây dựng bộ quy tắc toán học và logic cục bộ để đánh giá vi phạm thời gian thực (VD: Khoảng cách bám đuôi $\le 2.5\text{s}$, lảng vảng $\ge 30\text{s}$, che mặt $\ge 15\text{ frames}$). Việc dùng Rule Engine thay vì Prompting AI giúp loại bỏ hoàn toàn nguy cơ ảo giác (Hallucination) từ LLM và đảm bảo độ chính xác tuyệt đối ở tốc độ tính bằng mili-giây.
• AI Copilot (LangGraph): Triển khai ReAct Chatbot (có trang bị bộ nhớ phiên MemorySaver) và Investigation Graph. Graph này có nhiệm vụ điều phối các công cụ (tools) tra cứu Database/Vector Store. LLM đóng vai trò tổng hợp, suy luận logic và diễn đạt kết quả theo ngữ cảnh con người dễ hiểu.
• Backend: Xây dựng bằng FastAPI xử lý bất đồng bộ (Async), chịu trách nhiệm stream video MJPEG liên tục và truyền nhận các sự kiện cảnh báo thời gian thực qua giao thức Server-Sent Events (SSE).
• Dữ liệu & Lưu trữ: PostgreSQL quản lý dữ liệu nghiệp vụ (Access logs, tài khoản, phân quyền); Qdrant Vector DB xử lý tìm kiếm tương đồng khuôn mặt cho phép truy vấn hàng triệu vector (512 chiều) chỉ trong chớp mắt; Cloudflare R2 / Local Disk lưu trữ ảnh Snapshot bằng chứng.
• Frontend: Next.js 14 Dashboard hiển thị luồng camera trực tiếp, Live Event Feed, quản lý cư dân/khách quét mã QR, duyệt mở cửa (HITL) và giao diện tương tác với khung chat AI Copilot.

Tính khả thi & Độ sẵn sàng ứng dụng

• Triển khai linh hoạt (Edge-to-Cloud): Vision Pipeline nhẹ (YOLO11n + Rule Engine) dễ dàng đóng gói chạy trên phần cứng Edge AI tại chốt kiểm soát, trong khi Backend và AI Agent chạy trên Cloud/Local Server.
• Khả năng chịu tải (Scalability): Kiến trúc Decoupling tách biệt xử lý Video, API và AI Agent chống nghẽn cổ chai. Vector DB Qdrant cho phép mở rộng tệp danh tính lên hàng vạn hồ sơ với độ trễ mili-giây.