Đang chạy mực qua máy in — từng lớp màu một, kiên nhẫn nhé!
№ 01
№ 02
№ 03
№ 04
№ 05
№ 06
AgentLens · AI·20K Demo Day Zine
№ 17
AgentLens
AgentLens là nền tảng giám sát (observability), phân tích nguyên nhân gốc rễ (RCA) và đề xuất khắc phục lỗi tự động cho hệ thống Multi-Agent AI, kết hợp bộ phát hiện bất thường xác định O(1) với mạng lưới chẩn đoán Agentic LLM có kiểm chứng chống ảo giác
Fig. 01 · Ảnh dự án
THÔNG TIN NỘP DỰ ÁN DEMO DAY (PHASE 1)
Đội: 083 — Bún Bò Huế
1. Tên dự án *
AgentLens
2. Mô tả ngắn * (1–2 câu tóm tắt)
AgentLens là nền tảng giám sát (observability), phân tích nguyên nhân gốc rễ (RCA) và đề xuất khắc phục lỗi tự động cho hệ thống Multi-Agent AI, kết hợp bộ phát hiện bất thường xác định O(1) với mạng lưới chẩn đoán Agentic LLM có kiểm chứng chống ảo giác.
Password:BunBoHue@2026(Hoặc có thể tự bấm Đăng ký tài khoản mới trực tiếp trên web)
4. Mô tả chi tiết (Bài toán, giải pháp kỹ thuật, tính khả thi và hướng phát triển)
AgentLens — Nền tảng Giám sát & Chẩn đoán Nguyên nhân Gốc (RCA) cho Hệ thống Multi-Agent AI
1. Bài toán thực tế (Problem Statement)
Khi các hệ thống Multi-Agent AI (xây dựng trên LangGraph, CrewAI, AutoGen...) ngày càng phức tạp, việc vận hành và gỡ lỗi (debugging) trở thành thách thức lớn nhất:
Hộp đen phi tất định (Non-deterministic Black-box): Lỗi thường xuất phát từ sự tương tác dây chuyền giữa các tác tử (Agent handoff, Tool thrashing, Vòng lặp vô tận, Bùng nổ token).
Công cụ APM truyền thống không đáp ứng: Các công cụ như Datadog hay OpenTelemetry chỉ ghi nhận HTTP/gRPC span cơ bản mà thiếu ngữ nghĩa tác tử (Thought-Action-Observation loop, Token consumption, Prompt/Tool schema).
Chi phí & Rủi ro LLM: Sử dụng LLM để đọc toàn bộ trace thô vừa tốn kém chi phí, vừa dễ bị ảo giác (hallucination) hoặc bị tấn công qua Prompt Injection từ dữ liệu đầu vào.
2. Giải pháp & Tính năng cốt lõi (Key Features)
AgentLens áp dụng nguyên lý cốt lõi: Tách biệt phần rẻ/xác định (Rule-based) khỏi phần đắt/xác suất (LLM reasoning) để tối ưu chi phí và độ chính xác:
🔍 1. Phát hiện Bất thường Tự động (Pure Rule-Based Detectors)
Hệ thống tích hợp 7 bộ phát hiện bất thường chạy trên mọi span với độ phức tạp O(1) và chi phí 0đ:
Loop Detector: Phát hiện chu trình lặp vô hạn giữa các Agent/Tool (A -> B -> A -> B).
§
Phụ lục — Demo & Slides
Video demo
Bản demo trực tiếp
Slide trình bày
Bottleneck Detector: Định vị span/tool làm tắc nghẽn độ trễ dựa trên ngưỡng động (Adaptive Baselines).
Cascade Failure Detector: Phát hiện lỗi lan truyền dây chuyền giữa các tác tử con.
Tool Thrashing & Retry Storm: Nhận diện tool bị gọi lại liên tục do lỗi lặp lại.
Redundant Calls: Phát hiện các lệnh gọi trùng lặp không mang lại giá trị.
Token/Cost Spike: Cảnh báo các bước tiêu tốn chi phí và token đột biến.
Schema & Constraint Violation: Kiểm tra vi phạm định dạng I/O và ràng buộc vận hành.
🧠 2. Chẩn đoán Nguyên nhân Gốc (Root-Cause Analysis - RCA)
Gom cụm (Clustering) các Finding tương tự thành các Failure Signatures.
Áp dụng LangGraph Multi-Agent RCA Graph (Triage -> Analyst -> Verifier) để phân tích sâu nguyên nhân cốt lõi thay vì chỉ báo lỗi bề mặt.
Kết hợp Knowledge & RAG để đối chiếu hành vi thực tế với tài liệu thiết kế và ràng buộc hệ thống.
🛡️ 3. Cơ chế Kiểm chứng Chống Ảo giác (Anti-Hallucination Verifier)
Quy tắc tuyệt đối: Không bao giờ bịa giá trị cấu hình mà hệ thống không nhìn thấy trong trace.
Đề xuất sửa chữa (Fix Proposals) phân tách nghiêm ngặt:
concrete_diff: Chỉ khi giá trị cũ xuất hiện nguyên văn trong span kèm bằng chứng (span_id).
recommendation: Đưa ra mục tiêu và vùng cần sửa, không tự động viết mã thay người dùng nhằm ngăn chặn mã độc (Prompt Injection Guardrail).
Human-in-the-Loop (HITL): Mọi đề xuất đều phải qua giao diện phê duyệt (Approval Queue) trước khi áp dụng.
💬 4. Trợ lý AI Tương tác (Interactive Trace Chat)
Chatbot thông minh hỗ trợ kỹ sư hỏi đáp trực tiếp về luồng chạy của từng trace và cụm lỗi.
Trích dẫn chính xác từng span_id và đoạn bằng chứng nguyên văn (evidence_quote).
3. Kiến trúc kỹ thuật (Technical Architecture)
[Agent Traces] ---> Ingestion & Layer-1 PII Redaction
|
v
[7 Deterministic Detectors] (Pure Functions, O(1))
|
v
[Aggregator & Failure Clustering]
|
v
[RCA Graph] (Triage + Analyst + Layer-2 PII)
|
v
[Output Verifier] -- (Anti-Hallucination Guardrail)
|
v
[HITL Approval Queue & UI Dashboard]
Frontend: Next.js 16 (React 19, Turbopack, TailwindCSS, Dark mode cao cấp).
Backend: FastAPI (Python 3.11), Kiến trúc phân tầng Clean Architecture.
Database & Vector Store: PostgreSQL 16 tích hợp pgvector và Row-Level Security (RLS) đa tổ chức (Multi-tenancy).
Hạ tầng & Triển khai: Docker Compose, Nginx Reverse Proxy, Cloudflare Zero Trust Tunnel.
4. Tính khả thi & Điểm đột phá (Innovations & Feasibility)
Bảo mật đa lớp (Enterprise-Grade Security):
2 lớp lọc dữ liệu nhạy cảm (PII Redaction): Lớp 1 tại Ingestion trước khi ghi DB; Lớp 2 trước khi gửi dữ liệu sang LLM.
org_id luôn được cô lập từ JWT qua ToolContext, ngăn chặn rò rỉ chéo tổ chức ngay cả khi bị Prompt Injection.
Tiết kiệm 95%+ chi phí LLM: Toàn bộ khâu quét trace thực thi bằng thuật toán thuần; LLM chỉ kích hoạt cho các cụm lỗi thực sự cần suy luận sâu.
Độ tin cậy tuyệt đối: Mọi kết luận chẩn đoán và đề xuất sửa đổi đều có chuỗi bằng chứng (evidence citation) truy vết ngược về từng mili-giây trên DAG trace.
5. Hướng phát triển (Future Roadmap)
Tích hợp sâu chuẩn OpenTelemetry Semantic Conventions for Generative AI.
Tự động sinh bộ kiểm thử hồi quy (Automated Regression Test Generation) từ các lỗi đã được phê duyệt sửa.
Cung cấp SDK tích hợp 1 dòng lệnh cho các Agent Frameworks phổ biến (CrewAI, LangGraph, AutoGen, Semantic Kernel).
