Bài toán

Dữ liệu doanh nghiệp thường phân tán trên S3, PostgreSQL, MySQL và nhiều hệ thống khác. Người dùng nghiệp vụ khó tìm đúng dataset do tên bảng mang tính kỹ thuật, metadata chưa đầy đủ và quyền truy cập phức tạp.

Điều này làm tăng thời gian tìm kiếm, phụ thuộc vào Data Engineer và nguy cơ sử dụng sai nguồn dữ liệu.

Giải pháp kỹ thuật

AtlasIQ xây dựng một lớp AI Data Catalog nằm trên DataHub. Người dùng nhập yêu cầu bằng ngôn ngữ tự nhiên; AI sẽ phân tích ý định, tìm kiếm các dataset liên quan bằng semantic search, kiểm tra metadata và quyền truy cập, sau đó trả về kết quả kèm lý do lựa chọn.

Luồng xử lý chính gồm:

1. Người dùng gửi câu hỏi từ giao diện web.
2. Backend xác thực người dùng bằng JWT.
3. AI Agent phân tích câu hỏi và gọi công cụ phù hợp.
4. Query được chuyển thành embedding và tìm kiếm trong PostgreSQL với pgvector.
5. Các dataset phù hợp được đối chiếu với DataHub để lấy schema, owner, profiling và lineage.
6. Nếu cần, hệ thống thực hiện kiểm tra chính xác giá trị trên nguồn dữ liệu vật lý.
7. LLM tổng hợp kết quả thành câu trả lời có căn cứ.

Các thành phần chính:

• Next.js và React: giao diện catalog, AI search, dataset detail và ingestion.
• FastAPI: REST API, xác thực, catalog, ingestion và access control.
• LangChain/LangGraph và LLM: điều phối agent và tạo câu trả lời.
• PostgreSQL và pgvector: lưu dữ liệu ứng dụng và semantic embeddings.
• DataHub OSS: nguồn chuẩn cho metadata, schema, ownership, profiling và lineage.
• DataHub Managed Ingestion: thu thập metadata từ S3, PostgreSQL và MySQL.
• Kafka và worker: xử lý metadata change log, enrichment và indexing bất đồng bộ.

Hệ thống chỉ embedding metadata, không embedding dữ liệu gốc. Quyền truy cập được kiểm tra ở backend trước khi thông tin được đưa vào AI, giúp hạn chế nguy cơ lộ dữ liệu hoặc trả về dataset ngoài phạm vi người dùng.

Tính khả thi

Dự án đã triển khai các chức năng chính:

• Đăng nhập và xác thực JWT.
• Duyệt catalog và tìm kiếm bằng AI.
• Semantic search bằng embedding và pgvector.
• Xem schema, profiling, lineage và ownership.
• Ingestion dữ liệu từ S3, PostgreSQL và MySQL.
• Enrichment metadata bằng LLM.
• Quản lý quyền theo user/group.
• Kiểm tra giá trị cụ thể trên nguồn dữ liệu vật lý.