Bài toán

Khi một team có hàng trăm model SQL/dbt, đổi tên/xoá cột hay đổi kiểu dữ liệu ở một bảng gốc rất dễ gây lỗi âm thầm (silent break) ở các bảng downstream — vì không ai biết chính xác cột đó được dùng ở đâu tiếp theo. Cách làm hiện tại là dò thủ công qua từng file SQL, tốn thời gian và dễ bỏ sót.

Giải pháp kỹ thuật

• Pipeline ingest (LangGraph, xác định luận, không dùng LLM đoán mò khi không cần): parse SQL bằng sqlglot → LLM trích xuất cạnh lineage cho phần parser không chắc → hàng đợi HITL để người dùng duyệt/từ chối → build graph → sinh mô tả nghiệp vụ theo bảng và theo cột (RAG, BGE-M3 + pgvector).
• Chat Agent (ReAct thật, có tool-calling): 8 tool chia 4 nhóm — resolver (tìm bảng), impact (downstream/upstream theo change_kind: rename/drop/type/value), description search (ngữ nghĩa), DDL preview (mô phỏng ALTER/DROP không đổi dữ liệu thật). Có guard chống hallucination: mọi câu trả lời được đối chiếu lại với vocabulary bảng/cột thực sự lấy được từ tool, từ chối nếu nhắc tên không có căn cứ.
• Tự động hoá vận hành: phát hiện breaking change ngay khi ingest (drop/rename bảng có downstream sẽ tạo alert), watcher nền tự re-ingest khi phát hiện file .sql đổi mtime so với lần ingest gần nhất.
• Đa người dùng thật: auth theo X-User-Id + workspace → database → role (engineer/viewer), cách ly dữ liệu ingest theo từng dự án.
• Frontend: Lineage Explorer (canvas kéo-thả, duyệt HITL trực tiếp trên đồ thị), Impact Analysis với blast-radius graph chia theo hop, Column-Level Lineage trace 2 chiều dùng thẳng endpoint impact thật (không đoán tên cột phía client).

Tính khả thi

Toàn bộ API (30+ endpoint) đã chạy thật, không phải mock — đã ingest và kiểm thử trên dữ liệu dbt demo thật (20 bảng, 45 cạnh lineage có cả cấp cột). Đã đo baseline thật cho chat agent bằng 10 câu hỏi ghép chạy qua endpoint /chat thật, phát hiện và sửa một bug guard khiến tỷ lệ trả lời hỏng giảm từ 50% xuống 10%.

Hướng phát triển

Mở rộng độ phủ RAG mô tả nghiệp vụ cho các bảng/cột chưa có description, tinh chỉnh ngân sách tool-call cho câu hỏi phức hợp, và cân nhắc kiến trúc multi-agent (router + subagent) nếu tỷ lệ lỗi tool-selection tăng khi hệ thống mở rộng quy mô ingest.