2.2. Lõi xử lý và điều phối trung tâm (Gateway Core Engine)

Mọi yêu cầu gửi đến hệ thống đều đi qua quy trình 4 giai đoạn minh bạch:

1. Kiểm tra quy tắc (Policy Evaluation):
   • Xác thực danh tính người dùng và đơn vị gửi yêu cầu (Tenant).
   • Lọc danh sách mô hình hợp lệ (Allow-list) dựa trên phân loại dữ liệu (dữ liệu thông thường hay dữ liệu bảo mật).
   • Kiểm tra tình trạng hoạt động thực tế và hạn mức chi tiêu của phòng ban.
2. Bộ lựa chọn mô hình thông minh (5 Routing Strategies):
   • Rule-based: Lựa chọn theo quy tắc cố định và thứ tự ưu tiên (dễ giải thích, phù hợp làm mốc chuẩn).
   • Classifier Hybrid: Phân tích độ phức tạp của câu hỏi và tự động nhận diện nhu cầu tra cứu Internet để kích hoạt tìm kiếm dữ liệu mới.
   • Adaptive / Utility: Đánh giá và chấm điểm cân bằng giữa chi phí, tốc độ phản hồi và chất lượng câu trả lời.
   • OpenRouter Basic: Giữ quyền kiểm soát chính sách ở Gateway và ủy quyền lựa chọn trong nhóm mô hình đã phê duyệt.
   • OpenRouter + SLM: Sử dụng mô hình nhỏ để sàng lọc và thu hẹp lựa chọn trước khi chuyển tiếp.
3. Thực thi an toàn & Dự phòng tự động (Executor & Fallback):
   • Gọi mô hình thông qua cổng kết nối chuẩn hóa.
   • Tự động chuyển đổi sang phương án dự phòng (Failover) nằm trong danh sách đã được phê duyệt nếu mô hình chính gặp lỗi hoặc quá thời gian chờ.
4. Ghi nhận dấu vết & Giám sát (Trace & Observability):
   • Ghi nhận đầy đủ mô hình thực tế đã trả lời, thời gian xử lý, lượng token tiêu thụ và chi phí chính xác của từng yêu cầu.
   • Đồng bộ số liệu đo lường trực tiếp vào hệ thống giám sát Prometheus và bảng điều khiển Grafana.

2.3. Ngăn xếp công nghệ (Technology Stack)

• Giao diện (Frontend): React, TypeScript, Tailwind CSS (Single Page Application).
• Dịch vụ điều phối (Backend): Python, FastAPI, LiteLLM SDK, Pydantic.
• Dữ liệu & Xác thực: Supabase / PostgreSQL, Redis Cache.
• Vận hành & Giám sát: Docker Compose, Prometheus, Grafana.

3. TÍNH KHẢ THI VÀ KẾT QUẢ HIỆN TẠI (FEASIBILITY & EVIDENCE)

Dự án đã hoàn thiện ở cấp độ Nguyên mẫu hoạt động hoàn chỉnh (Working Prototype) với đầy đủ bằng chứng kỹ thuật:

1. Khả thi về mặt kiến trúc:
   • Toàn bộ chu trình từ nhận yêu cầu, kiểm tra chính sách, chọn mô hình, xử lý dự phòng và ghi nhận dấu vết đã chạy đồng bộ trên môi trường Docker.
   • Hai giao diện người dùng và quản trị hoạt động độc lập, cùng dùng chung một hợp đồng dữ liệu chuẩn.
2. Minh chứng qua 3 kịch bản thực tế:
   • Kịch bản Bất động sản: Tự động kích hoạt công cụ tra cứu khi câu hỏi yêu cầu dữ liệu giá cả / quy hoạch mới, trích dẫn nguồn tham khảo rõ ràng.
   • Kịch bản Ô tô / Chăm sóc khách hàng: Tự động phân luồng câu hỏi phổ biến sang mô hình tiết kiệm, giảm đáng kể độ trễ và chi phí.
   • Kịch bản Y tế / Nội bộ: Chặn tuyệt đối việc gửi dữ liệu ra các nhà cung cấp bên ngoài, chỉ cho phép xử lý qua mô hình nội bộ đã được cấp phép.
3. Minh chứng về kiểm soát & độ tin cậy:
   • Thử nghiệm mô phỏng trên 9 kịch bản thuộc 3 lĩnh vực đạt tỷ lệ 100% tuân thủ chính sách (0 trường hợp chọn sai mô hình ngoài danh mục cho phép).
   • Hệ thống bảng biểu Grafana phản ánh trực tiếp số liệu về độ trễ, lưu lượng và chi phí của từng yêu cầu.

4. HƯỚNG PHÁT TRIỂN TIẾP THEO (FUTURE ROADMAP)

Hệ thống định hướng tiếp tục hoàn thiện và mở rộng theo 3 trọng tâm chính:

• Tăng cường an toàn và bảo mật dữ liệu: Nâng cấp cơ chế phân quyền, tự động phát hiện và che giấu thông tin nhạy cảm trước khi gửi tới mô hình bên ngoài, đồng thời hoàn thiện hệ thống lưu trữ vết kiểm toán.
• Tích hợp kho tri thức và chính sách riêng của doanh nghiệp: Kết nối với kho tài liệu nội bộ (RAG) để câu trả lời luôn bám sát quy định của từng tổ chức và có trích dẫn nguồn tham chiếu minh bạch.
• Đánh giá và mở rộng thử nghiệm thực tế: Đưa vào kiểm chứng trên các nghiệp vụ thực tế với nhiều loại câu hỏi đa dạng hơn, từ đó đo lường chính xác mức độ tối ưu chi phí, chất lượng câu trả lời và nâng cao độ ổn định của hệ thống.