AI·20K Demo Day ZineĐang in số mới...
№ 28
Agent Onboarding là môi trường luyện tập không rủi ro cho nhân viên sales mới tại VinFast, được xây dựng từ khảo sát thực tế 133 phản hồi (109 sales và 24 quản lý). Sản phẩm tập trung vào kỹ năng khó nhất là xử lý phản đối và bài toán tri thức truyền miệng chưa được chuẩn hóa. Hệ thống cung cấp chatbot hỏi đáp SOP và kiến thức sản phẩm có trích dẫn nguồn từ tài liệu công khai hoặc tài liệu nội bộ, quiz theo cấu hình và tiến độ cá nhân, mô phỏng hội thoại bằng giọng nói với khách hàng ảo, cộng đồng nội bộ để nhân viên và quản lý chia sẻ kinh nghiệm, cùng dashboard riêng cho quản lý theo dõi tiến độ và kết quả luyện tập của từng nhân viên. Co-pilot tư vấn real-time là hướng phát triển tiếp theo, chưa nằm trong bản demo hiện tại.
№ 28
Demo Day Zine
Theo khảo sát thực tế với 133 phản hồi, gồm 109 nhân viên sales và 24 quản lý
(chi tiết tại Gate-1/01_BRIEF.md), 46% quản lý cho biết nhân viên mới cần từ
1–2 tháng trở lên mới có thể tiếp khách độc lập. Bên cạnh đó, 54% quản lý phải
kèm cặp nhân viên mới trực tiếp ít nhất 1 giờ mỗi ngày.
88% quản lý được hỏi cho biết hoạt động đào tạo hiện tại chưa được chuẩn hóa. 100% chi nhánh khảo sát có tri thức nghiệp vụ được truyền miệng qua người cũ, chưa được hệ thống hóa thành tài liệu dùng chung.
Kỹ năng khó nhất đối với nhân viên sales mới là xử lý phản đối của khách hàng, được 50% người tham gia lựa chọn. Đây cũng là nguyên nhân hàng đầu khiến quản lý đánh giá nhân viên chưa sẵn sàng tiếp khách, chiếm 33%.
Ngoài ra, 33% quản lý thừa nhận vẫn đánh giá năng lực nhân viên chủ yếu bằng cảm tính, chưa có thước đo cụ thể và thống nhất.
Những vấn đề này dẫn đến ba nhu cầu chính:
Agent Onboarding là môi trường luyện tập không rủi ro dành cho nhân viên sales mới tại VinFast. Sản phẩm hỗ trợ nhân viên học kiến thức, tra cứu thông tin, luyện tập xử lý tình huống và nhận phản hồi sau mỗi phiên luyện tập.
Hệ thống được xây dựng với các công nghệ chính:
livekit-client.gpt-4o-mini.text-embedding-3-small.Chatbot RAG hỗ trợ nhân viên tra cứu:
Mỗi câu trả lời đều có trích dẫn nguồn để người dùng có thể kiểm chứng thông tin, hạn chế tình trạng AI tự suy diễn hoặc trả lời không có căn cứ.
Lịch sử hội thoại được lưu vào database để phục vụ việc theo dõi quá trình học tập và cải thiện trải nghiệm người dùng.
Hệ thống kết hợp hai nguồn dữ liệu:
Tài liệu nội bộ hỗ trợ các định dạng:
Khi tài liệu được lưu, hệ thống thực hiện các bước:
text-embedding-3-small.Phân quyền tài liệu được tách theo vai trò:
Luồng truy xuất RAG sử dụng kết hợp tìm kiếm từ khóa BM25 và tìm kiếm vector.
Kết quả được fusion, sau đó có thể được rerank bằng cross-encoder trước khi
đưa context phù hợp vào mô hình gpt-4o-mini.
Hệ thống cung cấp quiz để kiểm tra kiến thức của nhân viên theo:
Kết quả làm bài, lịch sử học tập và tiến độ đào tạo được lưu riêng cho từng nhân viên. Nhờ đó, quản lý có thể theo dõi sự tiến bộ của từng người thay vì chỉ đánh giá chung theo cảm nhận.
Khi nhân viên trả lời sai, hệ thống có thể sử dụng RAG để giải thích đáp án và đưa ra nguồn tài liệu liên quan.
Voice Agent mô phỏng khách hàng ảo để nhân viên luyện tập tư vấn và xử lý phản đối trong môi trường không rủi ro.
LiveKit được sử dụng làm transport WebRTC. Pipecat chịu trách nhiệm điều phối pipeline xử lý giọng nói:
LiveKitTransport
→ Silero VAD
→ Deepgram STT tiếng Việt
→ OpenAI LLM
→ Piper TTS
Trong pipeline:
Hệ thống sử dụng semantic turn detection để hạn chế việc khách hàng ảo cắt lời khi nhân viên đang suy nghĩ hoặc chưa nói xong.
Voice Agent có hai nhóm đánh giá:
Nhóm A đánh giá hai yếu tố:
Điểm Nhóm A được tính theo trọng số 50/50:
Điểm = (Factual Accuracy + Appropriateness) / 2
Nhóm B gồm 6 chỉ số được tính tự động từ log JSONL:
Các chỉ số được thu thập từ VietVoiceObserver và phân tích bằng
compare_logs.py.
Dashboard Manager giúp quản lý theo dõi:
Dashboard sử dụng dữ liệu thực từ hệ thống thay vì chỉ hiển thị dữ liệu mẫu.
Readiness Index tổng hợp vẫn là hướng phát triển tiếp theo, vì cần bổ sung đủ dữ liệu định lượng trước khi gán nhãn mức độ sẵn sàng cho từng nhân viên.
Module Community giúp nhân viên và quản lý:
Nhờ đó, kinh nghiệm của nhân viên lâu năm có thể được lưu lại và sử dụng chung thay vì chỉ truyền đạt trực tiếp cho từng người mới.
GitHub Actions hỗ trợ chạy các tác vụ:
Quy trình tự động cần được cấu hình runner và các secrets cần thiết trước khi chạy trong môi trường triển khai thực tế.
Sản phẩm đã có bản demo live và được triển khai bằng Docker Compose kết hợp Cloudflare Tunnel.
Kiến trúc hệ thống được tách thành các thành phần độc lập:
Việc tách riêng voice worker khỏi web server giúp hệ thống có thể mở rộng độc lập khi số lượng phiên luyện tập tăng.
| Metric | Kết quả | Mục tiêu |
|---|---|---|
| Recall@5 | 90,91% | 80% |
| Answer Accuracy | 67,7% | 85% |
| Faithfulness | 80% | 90% |
| Quiz Quality | 88% | 90% |
| Context Accuracy | 100% | 90% |
Recall@5 và Context Accuracy đã đạt hoặc vượt mục tiêu. Answer Accuracy và Faithfulness vẫn cần được tiếp tục cải thiện để giảm câu trả lời thiếu chính xác hoặc chưa đầy đủ.
Kết quả evaluation trên 63 phiên của Nhóm A:
| Metric | Kết quả |
|---|---|
| Factual Accuracy | 0% |
| Appropriateness | 62,3% |
| Công thức điểm tổng | (Factual Accuracy + Appropriateness) / 2 |
Factual Accuracy đạt 0% trong bộ evaluation hiện tại do transcript còn thiếu các thông số quan trọng như giá, tầm hoạt động và dung lượng pin khi sales trả lời khách hàng. Đây là kết quả của bộ transcript kiểm thử, không phải khẳng định rằng sản phẩm luôn trả lời sai.
Nhóm B đã có 6 chỉ số tự động và unit test tương ứng. Các chỉ số được tính từ
log phiên thật do VietVoiceObserver ghi lại.
Tuy nhiên, số lượng log hiện có còn hạn chế nên chưa đủ để đại diện cho một benchmark chất lượng hội thoại chính thức trên quy mô lớn.