Đang in số

Cầm cốc cà phê

Đang chạy mực qua máy in — từng lớp màu một, kiên nhẫn nhé!

Data Where House? · AI·20K Demo Day Zine

№ 18

Data Where House?

Data Where House? là nền tảng hỗ trợ người mới học hoặc chưa có nhiều kinh nghiệm về Data Warehouse chuyển yêu cầu nghiệp vụ và dữ liệu nguồn thành một mô hình Data Warehouse có cấu trúc. Hệ thống hướng dẫn, đề xuất và kiểm tra thiết kế để người dùng vừa xây dựng mô hình, vừa hiểu được cách mô hình đó được hình thành.

Đối với người mới tiếp cận Data Warehouse, khó khăn không chỉ nằm ở việc tạo bảng mà còn ở việc biến một yêu cầu nghiệp vụ thành một thiết kế dữ liệu hợp lý. Người dùng có thể biết mình muốn phân tích doanh thu, số lượt giao dịch hay hiệu quả hoạt động, nhưng lại khó xác định đâu là Fact, đâu là Dimension, một dòng dữ liệu nên đại diện cho điều gì, cần sử dụng dữ liệu nguồn nào và các bảng nên liên kết với nhau ra sao.

Quá trình này yêu cầu kiến thức về cả nghiệp vụ, dữ liệu nguồn và các nguyên tắc thiết kế Data Warehouse. Với sinh viên, người mới học Data Engineering hoặc người chưa có nhiều kinh nghiệm thiết kế DWH, việc tự thực hiện toàn bộ các bước này thường mất nhiều thời gian, dễ nhầm lẫn và khó biết thiết kế của mình đã hợp lý hay chưa.

Data Where House? được xây dựng để hỗ trợ người dùng thực hiện quá trình đó theo từng bước. Người dùng cung cấp yêu cầu nghiệp vụ và dữ liệu nguồn. Hệ thống giúp làm rõ yêu cầu, xác định những thông tin cần cho việc phân tích và đọc cấu trúc dữ liệu nguồn. Từ đó, hệ thống đề xuất mô hình Data Warehouse gồm Fact, Dimension, khóa, quan hệ, chỉ số và mức độ chi tiết của dữ liệu.

Mô hình ngôn ngữ lớn được sử dụng để hiểu yêu cầu viết bằng ngôn ngữ tự nhiên, phát hiện những thông tin chưa rõ, hỗ trợ người dùng bổ sung yêu cầu và đưa ra đề xuất thiết kế. Sau khi mô hình được tạo, hệ thống tiếp tục kiểm tra theo các quy tắc thiết kế đã xác định để chỉ ra những lỗi hoặc điểm chưa hợp lý.

Thay vì chỉ đưa cho người dùng một kết quả cuối cùng, hệ thống cho phép họ xem sơ đồ mô hình, xem các vấn đề được phát hiện, chỉnh sửa trực tiếp hoặc yêu cầu hệ thống thay đổi bằng ngôn ngữ tự nhiên. Những thay đổi quan trọng vẫn do người dùng xem xét và quyết định trước khi áp dụng. Mô hình sau đó có thể được chuyển thành mã DDL và chạy thử trên môi trường Sandbox.

Qua đó, Data Where House? hướng tới việc làm cho quá trình học và thực hành thiết kế Data Warehouse dễ tiếp cận hơn, đặc biệt với những người chưa có nhiều kinh nghiệm. Sản phẩm không chỉ giúp giảm công sức thiết kế thủ công mà còn giúp người dùng hiểu rõ hơn mối liên hệ giữa yêu cầu nghiệp vụ, dữ liệu nguồn và mô hình Data Warehouse mà mình xây dựng.