Luồng xử lý chat

Người dùng → Chat Widget → FastAPI SSE streaming
  → Intent Router (3 tầng: keyword > semantic > LLM)
    → W3 (FAQ): FAQ Cache → Hybrid Search (vector + full-text + reranker) → LLM
    → W1/W2: LangGraph Agent → categorize → find_trip → respond
  → User confirms → Ticket created

3 tầng phân loại ý định

1. Keyword — Regex pattern tiếng Việt (phát hiện "quên", "khiếu nại", "giá bao nhiêu")
2. Semantic — Embedding cosine similarity (ngưỡng 0.75)
3. LLM Fallback — Hỏi model phân loại khi 2 tầng trên không xác định được

RAG Pipeline

Tìm kiếm kết hợp (Hybrid Search):

• Vector search: Cosine similarity trên embedding 768 chiều (pgvector, index IVFFlat)
• Full-text search: PostgreSQL tsvector + GIN index
• Reciprocal Rank Fusion: Kết hợp 2 phương pháp với rank_constant = 60
• Reranker: Model chuyên dụng (NV-Rerank-QA-Mistral-4) sắp xếp lại kết quả cuối

Multi-Tenant

• Mọi bảng nghiệp vụ đều có cột org_id NOT NULL + FK + index
• TenantRepository tự động inject org_id vào mọi truy vấn
• 4 brand templates: ride_hailing, hotel, venue_service, custom
• Onboarding thương hiệu mới: ~10 phút, không cần sửa code

Bảo mật

6 lớp bảo vệ:

1. Transport: TLS 1.3
2. Authentication: JWT (Supabase GoTrue) + CSRF double-submit cookie
3. Authorization: RBAC với 6 roles, phân quyền theo org
4. Input Validation: Rate limit (20/60s), kích thước (2000 ký tự), attachment (6 file), injection detection
5. Data Protection: PII masking (SĐT, email, CMND)
6. AI Safety: System prompt ràng buộc, không auto-ticketing, answer quality evaluation

3. Tính khả thi

Kết quả đã đạt được

Kiến trúc production-ready

• Không phụ thuộc vào vendor nào: tất cả provider dùng OpenAI-compatible interface
• Graceful degradation: FAQ cache hoạt động ngay cả khi LLM down
• Kiểm soát dữ liệu đa tenant: org_id ở mọi bảng, không thể rò rỉ cross-tenant
• Observability: tracing realtime cho từng request chat (dev mode)

4. Hướng phát triển

Ngắn hạn (Q3 2025)

• Redis migration: session state + rate limiter phân tán, mở khóa multi-replica deployment
• Background worker: xử lý email, notification bất đồng bộ
• WebSocket: giao tiếp hai chiều, server chủ động push notification
• E2E Playwright: CI tự động test luồng end-to-end

Trung hạn (Q4 2025)

• Tích hợp giọng nói: Speech-to-Text → AI → Text-to-Speech (luồng mới)
• Đa ngôn ngữ: Tiếng Anh, Trung Quốc (phục vụ khách sạn, du lịch)
• Webhook platform: tích hợp Zalo, Facebook Messenger
• Hoàn tiền tự động: quy trình approval cho refund

Dài hạn (2026)

• Fine-tune model riêng: distill từ GPT-4/Claude trên dữ liệu support tiếng Việt
• Sentiment analysis: tự động escalate ticket khi khách hàng bức xúc
• Predictive analytics: dự báo volume ticket, gợi ý nhân sự
• Marketplace templates: cộng đồng chia sẻ brand template

Hướng nghiên cứu

• Cải thiện Vietnamese embedding model (đóng góp open-source)
• Multi-turn conversation optimization
• Adversarial testing cho guardrail layers

Tóm tắt

CareFlow Platform giải quyết bài toán chăm sóc khách hàng tốn kém và kém hiệu quả tại Việt Nam bằng cách thay thế form web 6 bước bằng một hội thoại AI duy nhất. Kiến trúc đa thương hiệu, provider-agnostic, và chi phí vận hành thấp giúp platform có thể phục vụ từ startup đến doanh nghiệp lớn với nhiều ngành dọc khác nhau, từ xe công nghệ đến khách sạn và dịch vụ.