№ 82
Drift Investigator giúp kỹ sư ML phát hiện drift dữ liệu kéo dài, truy vết nguyên nhân có khả năng xảy ra từ bằng chứng thống kê và dòng truy nguyên (lineage), đồng thời chọn hành động an toàn. AI Investigator dựa trên bằng chứng để đề xuất bước tiếp theo trong phạm vi kiểm soát, nhưng vẫn yêu cầu con người phê duyệt trước khi tạo yêu cầu retraining.
Các mô hình học máy có thể xuống chất lượng âm thầm khi phân phối dữ liệu đầu vào, hành vi dự đoán hoặc mối quan hệ giữa feature và label thay đổi theo thời gian.
Một bộ phát hiện drift thông thường chỉ cho biết tín hiệu nào đã thay đổi.
Kỹ sư ML vẫn phải tự trả lời ba câu hỏi quan trọng: nguyên nhân có thể là gì, sự cố ảnh hưởng đến đâu, và hành động nào là an toàn.
Nếu mỗi feature tạo một cảnh báo riêng, đội ngũ dễ bị ngập trong cảnh báo và bỏ qua sự cố quan trọng.
Nếu hệ thống mặc định đề xuất retraining, lỗi pipeline hoặc thay đổi dữ liệu có thể bị đưa vào model mới.
Drift Investigator tập trung vào khoảng trống giữa việc phát hiện drift và việc ra quyết định có kiểm soát.
Drift Investigator là một MVP web theo mô hình xử lý sự cố trước.
Sản phẩm hiện theo dõi một mô hình phân loại nhị phân mô phỏng có tên maintenance_required_7d, dự đoán xe có cần bảo trì khẩn cấp trong bảy ngày tới hay không.
Luồng xử lý chính gồm các lớp sau:
confirmed, candidate hoặc unexplained.Phần giao diện sử dụng React, TypeScript, Vite và React Router.
Phần máy chủ sử dụng Python, FastAPI, SQLAlchemy, Alembic và PostgreSQL.
Evidently cung cấp nền tảng cho giám sát thống kê.
Feast được dùng trong luồng kho thuộc tính cục bộ (feature store) để kiểm tra tính nhất quán giữa huấn luyện và phục vụ trên dữ liệu mô phỏng.
Investigator Agent chỉ nhận các chỉ số tổng hợp và metadata đã được giới hạn, không nhận các dòng feature thô, thông tin bí mật hoặc quyền truy cập SQL không giới hạn.
Cổng bằng chứng và bộ kiểm tra đầu ra từ chối trích dẫn không tồn tại, tuyên bố không có bằng chứng và nội dung có dạng chỉ dẫn nằm trong metadata được truy xuất.
Đây là một MVP có thể chạy được, không chỉ là bản mô phỏng giao diện.
Các thành phần chính gồm lưu trữ trạng thái, xác thực, hàng đợi sự cố, màn hình bằng chứng, luồng điều tra, Copilot, màn hình HITL, nhật ký kiểm toán, bộ chạy giám sát và luồng kho thuộc tính cục bộ.
Dữ liệu mô phỏng được phiên bản hóa để có thể tái hiện các kịch bản từ nhóm kiểm soát sạch đến thay đổi pipeline, cảm biến mất dữ liệu, thay đổi quần thể, concept drift, sự kiện thay đổi có tính đối nghịch và drift không truy nguyên được.
Bản triển khai hiện tại tại drift-investigator-t082.duckdns.org đã được kiểm tra các bề mặt công khai.
Tại thời điểm kiểm tra, /healthz và /readyz đều trả về 200, trong đó /readyz trả {"status":"ready"}.
Bản triển khai có màn hình chọn workspace trước khi đăng nhập, tám workspace dùng thử, vai trò investigator cho thao tác và vai trò viewer chỉ đọc.
Bản OpenAPI công khai của bản triển khai có 38 path, bao gồm các bề mặt Tích hợp, Registry và Workspace.
Các kiểm tra hiện tại của bản mã nguồn xác nhận kiểm tra lint bằng Ruff, kiểm tra tài liệu và build production của giao diện đều đạt.
Vì dữ liệu và incident đều mô phỏng, sản phẩm hiện phù hợp nhất cho Demo Day, thử nghiệm khả thi và kiểm chứng quy trình xử lý sự cố.
Sản phẩm chưa nên được mô tả là một tích hợp giám sát production hoặc là bằng chứng về hành vi của hệ thống VinBigData/Xe X production.
Demo nên nói rõ rằng hệ thống đang chứng minh quy trình từ tín hiệu drift đến quyết định dựa trên bằng chứng.
Demo không nên nói rằng hệ thống đã tự động retrain model, deploy model hoặc chứng minh hiệu quả trên production.
Thông điệp cốt lõi là: phát hiện drift chỉ là bước đầu, còn giá trị của Drift Investigator nằm ở việc biến tín hiệu thành sự cố có nguyên nhân, bằng chứng, khuyến nghị và quyết định của con người.