Đang chạy mực qua máy in — từng lớp màu một, kiên nhẫn nhé!
№ 01
№ 02
№ 03
№ 04
№ 05
№ 06
VinaVoice · AI·20K Demo Day Zine
№ 45
VinaVoice
VinaVoice là nền tảng AI hỗ trợ xử lý cuộc họp và tin nhắn thoại: chuyển giọng nói thành văn bản, tóm tắt nội dung, hỏi đáp theo ngữ cảnh, tạo biên bản họp, cho phép người dùng tra cứu nội dung cuộc họp bằng chatbot và hiển thị trực tiếp transcript ngay khi người dùng nói trong cuộc họp.
Fig. 01 · Ảnh dự án
VinaVoice là nền tảng họp, nhắn tin và quản lý tri thức bằng giọng nói, được tối ưu cho tiếng Việt. Dự án hướng đến việc giải quyết tình trạng người dùng phải mất nhiều thời gian nghe lại bản ghi, ghi chép thủ công, lập biên bản và tìm kiếm các quyết định quan trọng sau cuộc họp.
Thay vì chỉ chuyển âm thanh thành một đoạn văn bản dài, VinaVoice xây dựng một quy trình hoàn chỉnh từ âm thanh → transcript → tóm tắt → dữ kiện có cấu trúc → hỏi đáp có nguồn → biên bản Word.
Điểm khác biệt cốt lõi của dự án là khả năng kiểm chứng thông tin và tạo ra biên bản cuộc họp theo format người dùng đưa vào. Mỗi dữ kiện quan trọng do AI tạo ra đều có thể liên kết với câu nói gốc và mốc thời gian tương ứng. Người dùng có thể nhấn “Nghe lại” để phát đúng đoạn âm thanh đã tạo ra thông tin đó, thay vì phải tin hoàn toàn vào kết quả của AI.
Bài toán thực tế
Trong các cuộc họp tại doanh nghiệp, cơ quan, trường học và nhóm dự án, nhiều thông tin quan trọng thường bị phân tán trong hàng chục phút ghi âm hoặc hàng trăm tin nhắn. Sau cuộc họp, người tham gia thường gặp các vấn đề:
Mất nhiều thời gian nghe lại toàn bộ bản ghi.
Khó xác định ai đã đưa ra một quyết định hoặc nhận một công việc.
Dễ bỏ sót thời hạn, cam kết, câu hỏi còn mở và rủi ro.
Biên bản được ghi thủ công nên dễ thiếu hoặc sai thông tin.
Kết quả tóm tắt của AI khó kiểm chứng vì không chỉ ra nguồn.
Nội dung của nhiều cuộc họp không được tổ chức để có thể tìm kiếm và tái sử dụng về sau.
Tên riêng, địa danh, mã hồ sơ và thuật ngữ tiếng Việt thường bị hệ thống nhận dạng giọng nói phổ thông ghi sai.
VinaVoice giải quyết các vấn đề này bằng cách biến âm thanh thành một nguồn dữ liệu có cấu trúc, có thể tìm kiếm, kiểm tra và đưa vào hành động.
Các tính năng chính
1. Chuyển giọng nói thành văn bản
Người dùng có thể tải lên các file MP3, WAV, M4A hoặc MP4. Hệ thống tự động đưa file vào hàng đợi xử lý, nhận dạng giọng nói và tạo transcript theo từng đoạn.
Mỗi đoạn transcript giữ lại:
Nội dung nhận dạng.
Thời gian bắt đầu và kết thúc.
Người nói tương ứng.
Mức độ tin cậy.
Trạng thái cần người dùng kiểm tra.
Người dùng có thể nhập trước số lượng người nói và các từ khóa như tên người, tên doanh nghiệp, địa danh, mã dự án hoặc thuật ngữ chuyên ngành để tăng độ chính xác.
2. Phân biệt và nhận diện người nói
VinaVoice hỗ trợ tách các lượt nói trong cùng một file âm thanh. Hệ thống xác định thời điểm từng người phát biểu và gán nhãn cho các đoạn tương ứng.
Ngoài việc phân biệt “Người nói 1”, “Người nói 2”, hệ thống còn sử dụng vân giọng để hỗ trợ nhận diện cùng một người xuyên nhiều file. Khi người dùng đã xác nhận tên cho một giọng nói, VinaVoice có thể đề xuất lại người đó trong những cuộc họp sau.
§
Phụ lục — Demo & Slides
Video demo
Bản demo trực tiếp
Slide trình bày
Tính năng này giúp trả lời những câu hỏi quan trọng như:
Ai đã đưa ra quyết định?
Ai nhận thực hiện công việc?
Phát biểu này thuộc về người nào?
Người này đã từng xuất hiện trong cuộc họp nào?
3. Chỉnh sửa và duyệt transcript
Những từ hoặc đoạn có độ tin cậy thấp được đánh dấu để người dùng dễ dàng kiểm tra.
Người dùng có thể:
Nghe lại đúng đoạn máy chưa nhận dạng rõ.
Chỉnh sửa từ bị sai.
Đổi tên người nói.
Xác nhận transcript trước khi sử dụng cho bước phân tích.
Bổ sung tên riêng và thuật ngữ để nhận dạng lại chính xác hơn.
Cơ chế này thể hiện nguyên tắc Human-in-the-Loop: AI hỗ trợ xử lý, nhưng con người vẫn giữ quyền kiểm soát đối với các thông tin chưa chắc chắn.
4. Tóm tắt cuộc họp bằng AI
Sau khi có transcript, hệ thống sử dụng quy trình AI đa tác nhân để phân tích nội dung. Các tác nhân đảm nhiệm những vai trò khác nhau như làm sạch transcript, phân tích chủ đề, trích xuất dữ kiện, kiểm tra độ tin cậy và liên kết kết quả với bằng chứng.
Kết quả gồm:
Tổng quan nội dung cuộc họp.
Các ý chính theo từng chủ đề.
Quyết định đã được thống nhất.
Cam kết và công việc cần thực hiện.
Câu hỏi còn bỏ ngỏ.
Rủi ro được đề cập.
Các thông tin quan trọng khác.
Thay vì chỉ tạo ra một đoạn tóm tắt tự do, VinaVoice lưu nội dung dưới dạng các sự kiện có cấu trúc. Đây là nền tảng để hệ thống xây dựng bộ nhớ tổ chức và phục vụ việc tra cứu về sau.
5. Trích dẫn và nghe lại nguồn
Mỗi dữ kiện quan trọng có thể đi kèm:
Câu trích dẫn nguyên văn.
Người nói.
Mốc bắt đầu và kết thúc.
File hoặc cuộc họp nguồn.
Mức độ tin cậy.
Khi người dùng nhấn nút “Nghe lại”, hệ thống phát đúng đoạn âm thanh liên quan. Cơ chế này giúp người dùng kiểm chứng kết quả nhanh chóng và giảm rủi ro AI suy diễn hoặc cung cấp thông tin không có căn cứ.
Nguyên tắc thiết kế của VinaVoice là: không có bằng chứng thì không được xem là sự thật đã xác nhận.
6. Hỏi đáp theo nội dung cuộc họp
Người dùng có thể đặt câu hỏi bằng ngôn ngữ tự nhiên, chẳng hạn:
Cuộc họp đã thống nhất phương án nào?
Ai chịu trách nhiệm cho công việc tiếp theo?
Thời hạn hoàn thành được nhắc đến là ngày nào?
Cuộc họp có đề cập đến rủi ro nào không?
Nội dung nào vẫn chưa có kết luận?
Hệ thống sử dụng cơ chế truy hồi kết hợp giữa tìm kiếm toàn văn và tìm kiếm ngữ nghĩa để lấy các dữ kiện phù hợp. Câu trả lời chỉ được tạo từ nội dung mà người dùng có quyền truy cập và được trả về cùng các nguồn tham chiếu.
Việc truy hồi trên sự kiện có cấu trúc giúp kết quả chính xác hơn so với tìm kiếm trên những đoạn transcript dài, rời rạc.
7. Phòng họp trực tuyến
VinaVoice hỗ trợ tạo và tham gia phòng họp trực tuyến bằng mã phòng. Người tạo phòng có thể đặt tiêu đề và mật khẩu bảo vệ.
Trong cuộc họp, hệ thống hỗ trợ:
Kiểm tra camera và microphone trước khi tham gia.
Ghi âm cuộc họp.
Hiển thị transcript trực tiếp.
Theo dõi thành viên tham gia.
Xử lý bản ghi chất lượng cao sau khi kết thúc.
Duyệt transcript.
Tóm tắt và trích xuất sự kiện.
Tải hoặc xóa bản ghi.
Các tác vụ nặng tiếp tục chạy ở chế độ nền ngay cả khi người dùng rời khỏi trang.
8. Chế độ họp offline
Đối với cuộc họp trực tiếp tại phòng họp, lớp học hoặc văn phòng, người dùng có thể sử dụng chế độ họp offline với một microphone chung.
Trong quá trình ghi âm, hệ thống hiển thị transcript trực tiếp, đồng thời xử lý bản ghi chất lượng cao ở phía sau. Nội dung được cắt theo khoảng lặng và lượt người nói. Sau khi kết thúc, transcript có thể được duyệt, tóm tắt, hỏi đáp và dùng để tạo biên bản.
9. Nhắn tin cá nhân, nhóm và tin nhắn thoại
VinaVoice tích hợp hệ thống nhắn tin nội bộ, hỗ trợ:
Hội thoại cá nhân.
Hội thoại nhóm.
Thêm hoặc xóa thành viên.
Tin nhắn văn bản.
Tin nhắn thoại.
Lưu lịch sử hội thoại.
Tóm tắt tin nhắn thoại.
Hỏi đáp theo từng hội thoại.
Mỗi hội thoại có một trợ lý AI riêng. Trợ lý chỉ sử dụng tin nhắn, transcript và dữ liệu thuộc hội thoại đang mở, giúp tránh trộn lẫn thông tin giữa các nhóm.
10. Tạo biên bản và tài liệu Word tự động
Sau khi cuộc họp được tóm tắt, người dùng có thể tạo biên bản từ mẫu Word.
Hệ thống cho phép:
Sử dụng mẫu biên bản có sẵn.
Tải mẫu chuẩn về máy.
Tải lên mẫu DOCX riêng của đơn vị.
Nhận diện các trường có nhãn tiếng Việt.
Hỗ trợ các biến mẫu dạng {{ten_bien}}.
Tự động điền nội dung từ dữ kiện cuộc họp.
Sửa và xác nhận từng trường.
Nghe lại bằng chứng của nội dung được điền.
Xuất tài liệu DOCX.
Nếu một trường chưa đủ độ tin cậy, hệ thống yêu cầu người dùng kiểm tra. Nếu cuộc họp không có dữ liệu phù hợp, người dùng có thể xác nhận để trống; AI không tự tạo thông tin chỉ để hoàn thành biểu mẫu. Tài liệu còn trường chưa xác nhận chỉ được xuất dưới dạng bản nháp.
11. Quản trị và giám sát hệ thống
Khu vực quản trị cho phép quản trị viên:
Xem tổng quan hoạt động.
Quản lý tài khoản người dùng.
Thêm, khóa, mở khóa hoặc xóa tài khoản.
Quản lý file và bản ghi.
Xem transcript và kết quả AI.
Theo dõi tiến trình các tác vụ.
Lọc tác vụ theo trạng thái.
Hủy hoặc thử chạy lại tác vụ bị lỗi.
Theo dõi mức sử dụng của từng người dùng.
Giải pháp kỹ thuật
VinaVoice được xây dựng theo kiến trúc tách biệt giữa giao diện, dịch vụ web, tác vụ nền, mô hình AI và tầng lưu trữ:
Frontend: Next.js App Router, cung cấp giao diện tiếng Việt cho người dùng và quản trị viên.
Backend: FastAPI, xử lý xác thực, phân quyền, cuộc họp, file âm thanh, nhắn tin, dữ kiện và tài liệu.
Cơ sở dữ liệu: PostgreSQL kết hợp pgvector và tìm kiếm toàn văn để thực hiện truy hồi lai.
Hàng đợi: Redis và RQ giúp các tác vụ STT, tóm tắt, embedding và điền tài liệu chạy độc lập với tiến trình web.
Nhận dạng giọng nói: PhoWhisper được tối ưu cho tiếng Việt và triển khai trên GPU serverless.
Tách và nhận diện người nói: sherpa-onnx cùng vân giọng số hóa.
AI đa tác nhân: quy trình gồm các tác nhân làm sạch, phân tích, trích xuất dữ kiện, kiểm tra và tạo trích dẫn.
RAG tiếng Việt: kết hợp tìm kiếm toàn văn với embedding tiếng Việt.
Cuộc họp thời gian thực: LiveKit và WebSocket.
Lưu trữ âm thanh: Cloudflare R2 với đường dẫn tải có thời hạn.
Xác thực: JWT, refresh token trong cookie HTTP-only và đăng nhập Google.
Hệ thống tách luồng ghi và luồng đọc. Các tác vụ nặng được thực hiện trước ở worker; khi người dùng đặt câu hỏi, dịch vụ chỉ cần truy hồi các dữ kiện đã xử lý. Cách thiết kế này giúp giảm thời gian phản hồi và tránh việc chatbot phải phân tích lại toàn bộ transcript ở mỗi câu hỏi.
Tính khả thi
Dự án có tính khả thi vì các module chính đã được xây dựng thành một hệ thống thống nhất, gồm giao diện người dùng, backend, cơ sở dữ liệu, hàng đợi tác vụ, xử lý giọng nói, phòng họp, nhắn tin, hỏi đáp và tạo tài liệu.
Kiến trúc serverless cho các tác vụ GPU giúp nhóm không phải duy trì máy chủ GPU liên tục. Các tác vụ AI chạy nền nên không làm khóa request của người dùng. Hệ thống cũng có khả năng tiếp tục hoạt động ở chế độ tìm kiếm toàn văn khi dịch vụ embedding không khả dụng.
Việc sử dụng các dịch vụ có thể mở rộng độc lập như PostgreSQL, Redis, R2 và GPU serverless giúp dự án phù hợp với cả giai đoạn thử nghiệm lẫn triển khai thực tế.
Các nhóm người dùng tiềm năng gồm:
Doanh nghiệp và nhóm dự án.
Cơ quan hành chính.
Trường học và cơ sở đào tạo.
Đơn vị tư vấn hoặc nghiên cứu.
Bộ phận thư ký và vận hành.
Tổ chức thường xuyên họp, lập biên bản và theo dõi công việc.
An toàn và kiểm soát AI
VinaVoice áp dụng nhiều lớp kiểm soát:
Người dùng chỉ được truy cập dữ liệu thuộc phạm vi được cấp quyền.
Dữ kiện chưa chắc chắn được đánh dấu cần duyệt.
Người dùng có thể chỉnh sửa transcript và nội dung tài liệu.
Câu trả lời được gắn với nguồn và mốc thời gian.
Dữ kiện chưa được xác nhận không được xem như thông tin chắc chắn.
Tài liệu chưa duyệt đầy đủ được đánh dấu là bản nháp.
Audio được lưu ở vùng riêng tư và truy cập qua URL có thời hạn.
Các tác vụ AI có thể được theo dõi, hủy hoặc chạy lại.
Điểm khác biệt
VinaVoice không chỉ là công cụ Voice-to-Text hoặc chatbot thông thường. Dự án kết hợp toàn bộ vòng đời của thông tin cuộc họp:
Thu âm → nhận dạng → phân biệt người nói → duyệt transcript → tóm tắt → trích xuất sự kiện → hỏi đáp có nguồn → nghe lại bằng chứng → tạo biên bản.
Ba điểm khác biệt nổi bật là:
Tối ưu cho tiếng Việt và hỗ trợ tên riêng, mã hồ sơ, thuật ngữ chuyên ngành.
Giữ timestamp xuyên suốt để mọi thông tin có thể truy về đúng âm thanh gốc.
Xây dựng bộ nhớ dưới dạng sự kiện có cấu trúc và đặt con người ở bước kiểm soát cuối cùng.
Hướng phát triển
Trong các giai đoạn tiếp theo, dự án có thể mở rộng theo các hướng:
Cải thiện độ chính xác cho giọng vùng miền và môi trường nhiều tạp âm.
Tự động phát hiện thêm thuật ngữ chuyên ngành từ ngữ cảnh cuộc họp.
Hoàn thiện khả năng nhận diện người nói trong tổ chức.
Đồng bộ lịch họp với Google Calendar và các nền tảng quản lý công việc.
Tích hợp Zoom, Google Meet, Microsoft Teams và các hệ thống hội nghị khác.
Tự động chuyển cam kết thành đầu việc có người phụ trách và thời hạn.
Phát triển ứng dụng di động.
Xây dựng bảng phân tích xu hướng, rủi ro và quyết định qua nhiều cuộc họp.
Bổ sung chính sách lưu trữ, mã hóa và triển khai riêng cho doanh nghiệp.
Xây dựng bộ đánh giá chất lượng trên nhiều vùng miền và lĩnh vực chuyên môn.
Mục tiêu dài hạn của VinaVoice là trở thành bộ nhớ có thể kiểm chứng của tổ chức, nơi các cuộc họp và trao đổi bằng giọng nói không còn bị thất lạc mà được chuyển thành dữ liệu hữu ích, có nguồn, có trách nhiệm và có thể đưa trực tiếp vào công việc.
