AI·20K Demo Day ZineĐang in số mới...
№ 84
HomeMind Hub
HomeMind Hub là trợ lý nhà thông minh AI Agent điều khiển bằng giọng nói tiếng Việt vận hành hoàn toàn cục bộ. Hệ thống kết hợp nhận diện tiếng nói, AI Agent suy luận đa bước mang lại trải nghiệm điều khiển tự nhiên, bảo mật quyền riêng tư tuyệt đối và an toàn với cơ chế xác thực Human-in-the-Loop.
1. Bài toán kỹ thuật
Hệ thống trợ lý ảo nhà thông minh truyền thống có 4 hạn chế chính:
- Phụ thuộc kết nối WAN: Hệ thống mất khả năng phản hồi khi rớt mạng hoặc đường truyền chập chờn; độ trễ phụ thuộc máy chủ từ xa.
- Nguy cơ lộ dữ liệu: Luồng âm thanh từ sinh hoạt gia đình liên tục truyền về máy chủ bên thứ ba.
- Bộ phân tích tiếng Việt cứng nhắc: Khó nhận diện câu đa lệnh, xử lý sai câu phủ định ("đừng tắt quạt"), nhầm lẫn câu giả định ("nếu tôi bảo...") hoặc không biết hỏi lại khi thiếu tham số.
- Thiếu cơ chế kiểm soát rủi ro: Trợ lý tự ý thực thi các lệnh nguy hiểm (mở khóa cửa, ngắt camera) chỉ dựa trên nhận diện giọng nói thô, dễ bị tấn công bằng bản ghi âm phát lại (replay attack).
2. Giải pháp kiến trúc
Homing chạy cục bộ trên Edge Hub (On-Device), không phụ thuộc cloud API.
- Pipeline xử lý âm thanh on-device:
- STT: sherpa-onnx Zipformer (lượng tử hóa int8), chạy trên CPU, tiêu tốn ~150MB RAM, không cần GPU rời.
- TTS: Piper TTS (mô hình vi_VN-vais1000-medium), độ trễ phản hồi dưới 1 giây.
- VAD: Web Audio API phía client và backend hub cùng lọc nhiễu, cắt khoảng lặng trước khi gửi dữ liệu âm thanh.
- Điều phối ý định theo tầng (Layered Intent Routing):
- Deterministic Grammar Parser: Trích xuất và điều khiển các lệnh cố định trong < 50ms.
- ReAct Agent (Qwen 2.5 3B): Phân tách câu đa ý định, suy luận ngữ cảnh thiết bị, loại bỏ câu giả định và yêu cầu người dùng làm rõ thông tin thiếu.
- Chốt chặn an toàn (HITL & PIN):
- Các lệnh nhạy cảm như mở khóa cửa bắt buộc xác thực mã PIN qua bàn phím phần cứng hoặc ứng dụng di động; hệ thống từ chối mở khóa bằng giọng nói đơn thuần.
- Tầng thiết bị IoT:
- Mosquitto MQTT Broker điều phối bản tin qua QoS 1, hỗ trợ State Retain và Telemetry Ack.
- Vi điều khiển ESP32 nạp firmware C++/Arduino kết nối relay, servo, RFID, bàn phím và cảm biến (MQ2, DHT11).
- Bộ giả lập (Device Simulator) kiểm thử toàn bộ luồng điều khiển độc lập với phần cứng vật lý.
3. Hiện trạng kiểm thử & Vận hành
- Phần cứng mục tiêu: Hoạt động trên Raspberry Pi 4 (4GB RAM) hoặc mini PC x86 phổ thông, không dùng card đồ họa rời.
- Khả năng chạy nội bộ: Giữ nguyên các chức năng điều khiển giọng nói, tự động hóa và an ninh khi ngắt hoàn toàn kết nối Internet.
- Bộ test tự động: 136 test case đã pass, bao phủ logic an toàn, bộ bóc tách ngữ nghĩa tiếng Việt, luồng audio và kết nối MQTT.
4. Hướng phát triển
- Fine-tune mô hình ngôn ngữ nhỏ (Qwen 1.5B/3B) chuyên biệt cho từ vựng và ngữ cảnh nhà thông minh tiếng Việt theo vùng miền.
§
Phụ lục — Demo & Slides
Video demo
Bản demo trực tiếp
Slide trình bày