Bài toán

Trong các cuộc họp dài, người tham gia thường phải chia sẻ sự chú ý cho nhiều công việc và dễ bỏ lỡ lúc mình được nhắc tên, được hỏi trực tiếp hoặc được giao nhiệm vụ. File ghi âm và transcript thông thường giúp lưu lại nội dung nhưng vẫn yêu cầu người dùng tự tìm kiếm, kiểm tra nguồn và chuyển thông tin sang công cụ quản lý công việc.

Giải pháp

VoiceLog xây dựng một luồng xử lý xuyên suốt từ âm thanh đến hành động. Hệ thống thu microphone, system audio hoặc tệp được tải lên; tạo transcript tiếng Việt có mốc thời gian; phát hiện ba nhóm tín hiệu gồm nhắc tên, câu hỏi trực tiếp và yêu cầu hành động; sau đó liên kết mỗi cảnh báo với đoạn transcript và vị trí audio tương ứng.

Từ transcript ổn định, VoiceLog tạo bản tổng hợp gồm quyết định, công việc, câu hỏi mở và rủi ro. Người dùng có thể hỏi lại nội dung cuộc họp thông qua Copilot Chat, trong đó câu trả lời đi kèm trích dẫn, đoạn hội thoại nguồn và mốc thời gian. Các action item được chuyển thành task draft có người phụ trách, thời hạn và bằng chứng; người dùng giữ quyền sửa, duyệt hoặc từ chối trước khi đồng bộ sang hệ thống bên ngoài.

Giải pháp kỹ thuật

VoiceLog hỗ trợ hai chế độ nhận dạng tiếng nói:

• Xử lý cục bộ: sherpa-onnx-zipformer-vi-30M-int8-2026-02-09, tối ưu cho tiếng Việt và chạy trực tiếp trên CPU.
• Xử lý cloud: whisper-large-v3-turbo qua Groq, phù hợp với nhu cầu đa ngôn ngữ, code-switch và throughput cao.

Ứng dụng web được phát triển bằng React, TypeScript và Vite; phiên bản desktop sử dụng Tauri, Rust và WASAPI để thu riêng microphone và system audio trên Windows. Backend FastAPI đảm nhiệm STT, phân loại cảnh báo, kiểm tra bằng chứng, lưu trữ phiên họp, tìm kiếm và điều phối workflow.

Meeting Memory kết hợp tìm kiếm toàn văn với vector search để truy xuất nội dung theo từng cuộc họp hoặc toàn bộ lịch sử. Summary, Copilot và task đều giữ liên kết với phiên bản transcript nguồn. Khi transcript được chỉnh sửa, các đầu ra liên quan được đánh dấu để kiểm tra hoặc tạo lại. Quy trình task sử dụng human-in-the-loop nhằm bảo đảm mọi hành động bên ngoài đều đi qua bước xác nhận của người dùng.

Tính khả thi

Nguyên mẫu hiện tại đã triển khai luồng chính gồm thu âm hoặc tải tệp, nhận dạng tiếng nói, transcript có timestamp, Smart Warning, điều hướng về evidence/audio, summary có kiểm tra bằng chứng, Meeting Memory, Copilot Chat, task draft và bước phê duyệt của người dùng.

Mô hình Zipformer 30M INT8 cho phép xử lý tiếng Việt trên CPU với tài nguyên phù hợp cho ứng dụng desktop. Chế độ cloud cung cấp một lựa chọn bổ sung cho các cuộc họp đa ngôn ngữ. Kiến trúc local-first giúp người dùng chủ động lựa chọn vị trí xử lý dữ liệu, trong khi evidence validation và human-in-the-loop tăng khả năng kiểm chứng các kết quả do AI tạo ra.