№ 23
"GuardianCam Local Hub" là hệ thống camera AI xử lý cục bộ, hỗ trợ phát hiện té ngã và người lạ theo thời gian thực. Dữ liệu được xử lý ngay trên thiết bị, giúp tăng tính riêng tư và giảm phụ thuộc vào Cloud.
BÁO CÁO MÔ TẢ CHI TIẾT DỰ ÁN GUARDIANCAM LOCAL HUB (P-227) Bài Toán, Giải Pháp Kỹ Thuật, Tính Khả Thi Và Hướng Phát Triển
Tai nạn té ngã (Fall Accidents): Té ngã là nguyên nhân hàng đầu gây chấn thương nghiêm trọng hoặc tử vong ở người cao tuổi nếu không được phát hiện và cấp cứu kịp thời trong "khung giờ vàng" (đặc biệt khi nạn nhân bị ngất hoặc bất động trên sàn). Nguy cơ xâm nhập & Người lạ (Stranger / Intruder Threats): Sự xuất hiện của đối tượng lạ mặt xung quanh khuôn viên nhà (sân, cổng, hành lang) mà không được nhận diện hay cảnh báo sớm. 1.2. Hạn chế của các giải pháp hiện nay trên thị trường Camera giám sát truyền thống (Passive CCTV): Chỉ ghi hình thụ động, không có khả năng phân tích hoặc phát hiện tai nạn realtime; phụ thuộc hoàn toàn vào việc con người ngồi xem lại video sau khi sự việc đã xảy ra. Giải pháp AI Camera đẩy lên Cloud (Cloud-based AI Cameras): Rủi ro rò rỉ quyền riêng tư (Privacy Violation): Việc truyền tải luồng video thô (raw video feed) hoặc hình ảnh không gian riêng tư (phòng ngủ, phòng khách) lên máy chủ Cloud bên thứ ba tiềm ẩn rủi ro lộ clip nhạy cảm. Phụ thuộc Internet & Độ trễ cao (High Latency & Connectivity Loss): Khi mạng chập chờn hoặc đứt cáp, hệ thống mất hoàn toàn khả năng phát hiện báo động. Chi phí duy trì Cloud đắt đỏ (High Recurring Cloud Subscription Costs): Phí lưu trữ và xử lý AI hàng tháng cho luồng video 24/7 tạo gánh nặng tài chính lâu dài. 1.3. Mục tiêu giải quyết của dự án GuardianCam GuardianCam Local Hub được thiết kế để giải quyết triệt để các vấn đề trên bằng mô hình Edge Safety Monitoring Hub (Xử lý 100% Cục bộ):
Phát hiện té ngã và nhận diện người lạ/người thân thời gian thực với độ trễ siêu thấp. Bảo vệ dữ liệu quyền riêng tư tuyệt đối (Privacy-First Data Sovereignty). Tự động hóa quá trình ứng phó báo động thông qua hệ thống Multi-Agent AI System. 2. GIẢI PHÁP KỸ THUẬT (TECHNICAL SOLUTION) 2.1. Kiến trúc Tổng thể Hệ thống (System Architecture) GuardianCam Local Hub được xây dựng theo kiến trúc đa tầng tối ưu cho thiết bị phần cứng Edge:
[Camera Sources: RTSP / Webcam / File] │ ▼ [FrameHub: Latest-Frame Slot (Bounded Latency)] ──► [Realtime Preview Streaming] │ ▼ [Production Vision Engine (SDA-GCN)] ├── MediaPipe Pose Async (33 Keypoints) ├── SDA-GCN Action Classifier (2s Window / 64 Frames) └── InsightFace Identity Stage (buffalo_l Face Embeddings) │ ▼ [Local Persistence & Broadcast (SQLite + SSE)] │ ▼ [Multi-Agent AI System (Hybrid Dual-Engine)] ├── Reasoning / Triage Agent (Threat Level: CRITICAL / HIGH / MEDIUM / LOW) ├── Security Q&A Assistant Agent (Chat Assistant UI & Safety Guardrails) └── Incident Summary & Timeline Agent (Timeline & Executive Summary)
2.2. Chi tiết các Tầng Kỹ thuật Cốt lõi A. Tầng Thu thập & Quản lý Luồng Video (Video Pipeline) Hỗ trợ đa nguồn (Multi-source): Khởi tạo và quản lý độc lập USB Webcam, Local Video File (dùng media timestamp) và RTSP Stream (dùng monotonic capture timestamp). Cơ chế Capacity-One Latest-Frame Slot: Giữ đúng 1 frame mới nhất cho mỗi camera, loại bỏ hoàn toàn tình trạng tích lũy hàng đợi (queue backlog) khi suy luận AI bị chậm. Tách biệt luồng Preview và Vision: Luồng phát video MJPEG Preview giữ tốc độ phát mượt mà của nguồn, độc lập với tốc độ suy luận của Vision Engine. B. Tầng Suy luận Thị giác Máy tính (Production Vision Engine) Phát hiện Tư thế (Pose Estimation): Sử dụng MediaPipe Pose trích xuất 33 điểm mốc cơ thể theo chuỗi thời gian. Phân loại Hành động Té ngã (SDA-GCN): Mô hình Spatial-Temporal Graph Convolutional Network phân tích cửa sổ 2 giây (64 frames resampled) để phát hiện trạng thái ngã với độ chính xác cao. Nhận diện Danh tính (Identity Stage): Trích xuất 512-dim face embedding bằng InsightFace buffalo_l, so khớp Cosine Similarity với cơ sở dữ liệu SQLite persons và face_profiles. Tăng tốc Phần cứng (Hardware Acceleration Fallback): CUDA (NVIDIA) ⟶ OpenVINO (Intel iGPU) ⟶ DirectML (AMD/Windows) ⟶ CPU CUDA (NVIDIA)⟶OpenVINO (Intel iGPU)⟶DirectML (AMD/Windows)⟶CPU
C. Tầng Hệ thống Multi-Agent AI (Agentic Architecture) Hệ thống tích hợp 3 Agent chuyên trách hoạt động theo mô hình Hybrid Dual-Engine:
Reasoning / Triage Agent:
Ma trận suy luận đa thông số: Đánh giá tư thế (posture), thời gian bất động (immobility_duration_ms), độ tin cậy AI (ai_confidence), số lần xuất hiện (occurrence_count), danh tính và vị trí camera. Gán nhãn độ nguy hiểm: CRITICAL, HIGH, MEDIUM, LOW. Tự động kích hoạt còi báo lệnh (trigger_siren), gửi thông báo di động (send_notification) hoặc kích hoạt trạng thái xác thực con người (require_human_validation). Security Log Q&A Assistant Agent:
Trợ lý hỏi đáp trực tiếp trên Web UI qua widget nổi [src/components/AgentChatWidget.tsx]. Tự động chuyển đổi mốc thời gian UTC sang Giờ chuẩn Việt Nam (UTC+7) (HH:MM:SS ngày DD/MM/YYYY). Lớp an toàn kép: Bộ lọc Prompt Injection & Anti-Jailbreak Guardrail + Domain Scope Rejection tự động từ chối các yêu cầu vi phạm hoặc nằm ngoài phạm vi an ninh. Incident Summary & Timeline Generator Agent:
Truy vết các sự kiện liên quan qua bảng junction incident_events. Khởi tạo chuỗi mốc thời gian diễn biến (Timeline) và bài tóm tắt Executive Summary lưu trực tiếp vào cơ sở dữ liệu SQLite (incidents.agent_summary). 3. TÍNH KHẢ THI (FEASIBILITY ANALYSIS) 3.1. Tính khả thi về Kỹ thuật & Hiệu năng (Technical & Performance Feasibility) Kết quả Kiểm thử & Benchmark thực nghiệm (100% Verified): Toàn bộ bộ test tự động 260/260 PASSED (100%). Script đánh giá chuyên biệt [eval/evaluate_agents.py] ghi nhận kết quả benchmark đạt 100% tuyệt đối: Hạng mục Kiểm thử Tiêu chí Đánh giá Kết quả (Accuracy %) Thời gian Phản hồi (Avg Latency) Reasoning / Triage Agent Phân loại đúng nhãn threat (CRITICAL, HIGH, MEDIUM, LOW) 100.0% < 0.01 ms Security Q&A & Guardrail Trả lời đúng domain, từ chối out-of-scope & chặn Prompt Injection 100.0% 5.07 ms Incident Summary & Timeline Trích xuất mốc thời gian chuẩn & lưu tóm tắt vào DB 100.0% 22.48 ms Khả năng tương thích phần cứng Edge: Chạy tốt trên card đồ họa tích hợp phổ thông (Intel Iris Xe iGPU, NVIDIA GTX/RTX, AMD DirectML) với mức chiếm dụng tài nguyên thấp và không gây giật lag luồng video. 3.2. Tính khả thi về Bảo mật & Quyền riêng tư (Security & Privacy Feasibility) Chủ quyền Dữ liệu Cục bộ (Local Data Sovereignty): 100% luồng video thô, dữ liệu khuôn mặt và file ghi log ở lại thiết bị cục bộ (data/app.db). An toàn Thông tin: Các câu lệnh SQL dùng Parameterized Queries chống SQL Injection; các trường dữ liệu nhạy cảm (password_hash, face_embedding) bị cách ly hoàn toàn khỏi các công cụ tra cứu của AI Chat. 3.3. Tính khả thi về Chi phí & Thương mại (Economic & Commercial Feasibility) Chi phí vận hành hàng tháng bằng 0: Chế độ mặc định (Deterministic Engine) giúp hệ thống vận hành trơn tru mà không tốn chi phí mua API Key hay thuê máy chủ Cloud. Tính sẵn sàng thương mại: Mã nguồn được đóng gói dạng mô-đun hóa cao, dễ dàng cài đặt dạng Plug-and-Play trên các thiết bị Edge Box cho hộ gia đình. 4. HƯỚNG PHÁT TRIỂN (FUTURE ROADMAP) ┌─────────────────────────────────────────────────────────┐ │ Giai đoạn 1: Tích hợp SLM Local (Ollama / vLLM / ONNX) │ └────────────────────────────┬────────────────────────────┘ │ ▼ ┌─────────────────────────────────────────────────────────┐ │ Giai đoạn 2: Kết nối IoT Gia đình & Cảm biến mmWave │ └────────────────────────────┬────────────────────────────┘ │ ▼ ┌─────────────────────────────────────────────────────────┐ │ Giai đoạn 3: App Di động Native & Tổng đài Khẩn cấp 24/7│ └─────────────────────────────────────────────────────────┘
4.1. Giai đoạn 1: Tích hợp Mô hình SLM Local (Local Small Language Models) Mục tiêu: Thay thế LLM Cloud bằng các mô hình ngôn ngữ nhỏ gọn chạy 100% Cục bộ như Qwen2.5-7B-Instruct, Llama-3.2-3B, Phi-3.5-mini thông qua Ollama / vLLM / ONNX Runtime GenAI. Lợi ích: Mang lại khả năng hiểu ngôn ngữ tự nhiên sâu sắc cho Trợ lý AI mà vẫn duy trì tính bảo mật và độc lập hoàn toàn với kết nối Internet. 4.2. Giai đoạn 2: Kết nối Tự động hóa IoT Gia đình & Cảm biến mmWave Giao thức chuẩn IoT (Matter / Zigbee / Home Assistant Integration): Tự động bật hệ thống đèn chiếu sáng sinh hoạt khi phát hiện sự cố té ngã ban đêm. Tự động kích hoạt chuông cảnh báo nhà hoặc khóa cửa khi phát hiện người lạ lặp lại nhiều lần. Tích hợp Cảm biến Radar Milimet (mmWave Radar Fusion): Kết hợp dữ liệu thị giác camera với radar sóng milimet để hỗ trợ phát hiện té ngã xuyên vật cản và trong các không gian kín (như nhà tắm, phòng vệ sinh). 4.3. Giai đoạn 3: Ứng dụng Di động Native & Tích hợp Dịch vụ Khẩn cấp App Di động Mã hóa End-to-End: Xây dựng ứng dụng iOS/Android native kết nối WebRTC P2P mã hóa, hỗ trợ nhận cuộc gọi báo động tự động (Automated Emergency Call). Kết nối Tổng đài Y tế Khẩn cấp: Khi sự cố ở mức CRITICAL xảy ra quá 60 giây mà không có ai phản hồi trên app, hệ thống sẽ tự động kích hoạt cuộc gọi khẩn cấp (Voice Call / SMS) tới trung tâm y tế gần nhất hoặc số điện thoại người thân. Báo cáo được tổng hợp tự động từ mã nguồn sản phẩm GuardianCam Local Hub.