№ 48
Data Engineer/Data Steward đang gặp khó khăn khi phát hiện và điều tra nguyên nhân sự cố dữ liệu trong bối cảnh pipeline ngày càng phức tạp, thường phải chữa cháy bằng SQL, log và kiểm tra thủ công, dẫn tới tốn thời gian, dễ bỏ sót lỗi và giảm năng suất; team T086 – Cơm tấm Sài Gòn giải quyết bằng DataTrust OS – hệ thống Multi-Agent hỗ trợ Data Quality và Root-Cause Investigation, hướng tới giảm thời gian điều tra và tăng năng suất xử lý sự cố.
Data Engineer/Data Steward đang gặp khó khăn khi phát hiện và điều tra nguyên nhân sự cố dữ liệu trong bối cảnh pipeline ngày càng phức tạp, thường phải chữa cháy bằng SQL, log và kiểm tra thủ công, dẫn tới tốn thời gian, dễ bỏ sót lỗi và giảm năng suất; team T086 – Cơm tấm Sài Gòn giải quyết bằng DataTrust OS – hệ thống Multi-Agent hỗ trợ Data Quality và Root-Cause Investigation, hướng tới giảm thời gian điều tra và tăng năng suất xử lý sự cố.
Bài toán
Hệ sinh thái xe điện, trạm sạc và gọi xe (VinFast, V-Green, Xanh SM) mỗi ngày sinh telemetry, phiên sạc và chuyến đi. Vấn đề không phải thiếu dữ liệu — bộ pilot đo 0 ô null trên telemetry, charging và trips — mà là vỡ ràng buộc vật lý và quan hệ: SoC âm, điện áp trên 1.000 V, xe đứng yên nhưng RPM trên 12.000, cước sạc/cước chuyến âm, GPS ngoài bbox Hà Nội. Trên catalog hiện tại (60 VIN, 15 ngày): 86.400 dòng telemetry, 1.513 phiên sạc, 10.382 chuyến. Nếu đổ hết điểm hit L1–L4 lên màn hình, steward bị ngợp cảnh báo. Cần nén thành sự cố có bằng chứng, người phê duyệt, và không cho agent tự ghi kho. Đây không phải bài toán dashboard. Đây là bài toán tin cậy vận hành: số trên UI phải đo được; Approve không phải Execute.
Sản phẩm live: https://t086.w9.nu
Giải pháp kỹ thuật
DataTrust OS là console quản trị độ tin cậy dữ liệu. Một DuckDB, bốn schema WAP: landing đổ vào, sau đó tách quarantine / cleaned, kèm ops.
Luồng: nạp append-only vào landing (giới hạn 3.000 dòng mỗi source_file, không UPDATE landing) → phát hiện L1–L4 (range, MAD trượt, bất biến quan hệ, CUSUM/PELT) → Fusion gom thành incident OPEN → ReAct có cổng HITL (profile, list_tables, đề xuất luật semantic + policy, id theo dataset) và dừng trước khi ghi → steward duyệt. Approve chỉ audit, không mutate. Publish WAP INSERT sang cleaned hoặc quarantine. Execute kho đang tắt. Reset chỉ admin, fail-closed, JWT giữ phiên admin. Happy/Unhappy là snapshot đo được, không vẽ sẵn health 99,1%. Nhánh hiện tại có memory: tóm tắt phiên thành hồ sơ user, user tự xem/sửa, không đưa thought thô lên UI. Stack: Python 3.13, FastAPI, DuckDB, React 19, Vite, JWT HS256, Gemini trên luồng chính (không mock), Docker Compose, Cloudflare Tunnel. Demo: Landing → Profiler kỳ này → RCA/Traces (bằng chứng, không chuỗi suy nghĩ) → HITL đề xuất luật → steward quyết.
Tính khả thi
Đã chạy dạng triển khai, không dừng ở notebook. Console live t086.w9.nu, API t086-api.w9.nu/health, Docker 1-click, đủ PR merge theo Gate G2. Một file DuckDB, không thêm Postgres. Ingest/reset trên 11 CSV data_new, không quét raw_public/EDA. Auth JWT, leftover 100/50k bị từ chối. Có eval detector/RCA trên bộ lỗi tiêm; policy đóng băng compile/score landing, execute off. Chi phí hạ tầng thấp (VPS + tunnel + DuckDB in-process). LLM chỉ khâu đề xuất luật và hội thoại; L1–L4 vẫn chạy khi LLM down.
Giới hạn nói thẳng: Execute kho tắt; sample 3.000 dòng/file; bộ VinGroup là pilot/semi-synthetic (ánh xạ nguồn công khai + tiêm lỗi), không phải warehouse sản xuất VinFast.
Hướng phát triển
Bật Execute có kiểm soát sau HITL: sandbox diff, apply có audit SHA-256, so sánh cleaned với landing. Cho steward sửa dữ liệu trong chat theo luật đã duyệt (allowlist). Traces đủ từ incident tới từng tool beat, không overlay KPI bịa. Hoàn thiện WAP: landing → log / quarantine / cleaned vẫn sửa được kèm nhật ký vận hành. Memory theo dataset/VIN, gợi ý luật từ lịch sử approve/reject. Pilot trên luồng thật (VinGroup/Cty X): connector telemetry–sạc, SLO tin cậy, người luôn override (EU AI Act Art. 14).
Nguyên tắc giữ nguyên: số trên UI là số đo kỳ này; số ngành chỉ dùng khi pitch, không vẽ lên thẻ sản phẩm.