Đang chạy mực qua máy in — từng lớp màu một, kiên nhẫn nhé!
№ 01
№ 02
№ 03
№ 04
№ 05
№ 06
Paycify – Realtime Fraud Detection and AI-powered Operations Workspace for E-wallets · AI·20K Demo Day Zine
№ 80
Paycify – Realtime Fraud Detection and AI-powered Operations Workspace for E-wallets
Paycify là Fraud Operations Workspace hỗ trợ phát hiện, ưu tiên và điều tra gian lận trong giao dịch ví điện tử theo thời gian thực. Hệ thống tập hợp bằng chứng, phân công cảnh báo và sử dụng AI Copilot để hỗ trợ chuyên viên hoàn thành công việc, trong khi mọi quyết định nhạy cảm vẫn được con người kiểm soát.
Fig. 01 · Ảnh dự án
Tổng quan
Paycify là hệ thống phát hiện, tổ chức và hỗ trợ điều tra giao dịch gian lận theo thời gian thực
dành cho ví điện tử và fintech.
Thay vì chỉ tạo ra một điểm rủi ro, Paycify hỗ trợ toàn bộ quá trình từ khi giao dịch được tiếp
nhận, trở thành cảnh báo, được phân công cho chuyên viên, điều tra, ra quyết định cho đến khi lưu
lại feedback và lịch sử kiểm toán.
Mục tiêu của Paycify là giúp đội ngũ fraud operations:
Biết cảnh báo nào cần xử lý trước.
Giảm thời gian tìm kiếm và tổng hợp thông tin.
Hạn chế xử lý trùng hoặc bỏ sót cảnh báo khẩn.
Hoàn thành công việc trên một quy trình thống nhất.
Sử dụng AI nhưng vẫn giữ quyền kiểm soát của con người.
Bài toán
Gian lận ví điện tử thường diễn ra nhanh và không chỉ được thể hiện qua một dấu hiệu đơn lẻ. Một
giao dịch đáng ngờ có thể liên quan đến nhiều tín hiệu khác nhau:
Tần suất giao dịch tăng đột biến.
Số tiền hoặc loại giao dịch bất thường.
Thiết bị, địa chỉ IP hoặc vị trí chưa từng xuất hiện.
Tài khoản mới nhưng nhanh chóng phát sinh giao dịch lớn.
Nhiều tài khoản sử dụng chung thiết bị hoặc người nhận.
Giao dịch được chia nhỏ để tránh ngưỡng kiểm soát.
Dòng tiền di chuyển qua một mạng lưới tài khoản hoặc theo chu kỳ.
Các hệ thống fraud detection truyền thống có thể tạo risk score hoặc cảnh báo, nhưng công việc của
fraud analyst vẫn còn nhiều bước thủ công:
Xác định cảnh báo nào cần được xử lý trước.
Tìm thông tin giao dịch và tài khoản từ nhiều nguồn.
Kiểm tra lịch sử, thiết bị, vị trí và quan hệ liên quan.
Ghi chú kết quả điều tra.
Đưa ra quyết định hoặc chuyển cho người có thẩm quyền.
Lưu lại lý do để phục vụ kiểm toán và cải tiến mô hình.
Khi số lượng cảnh báo tăng, vấn đề không còn chỉ là khả năng phát hiện gian lận. Đó còn là khả năng
tổ chức công việc, đáp ứng SLA và biến cảnh báo thành quyết định có căn cứ.
Giải pháp
Paycify xây dựng một Fraud Operations Workspace theo hai nguyên tắc:
Evidence-first: mọi phân tích và đề xuất phải dựa trên dữ liệu hoặc nguồn bằng chứng có thể
kiểm tra.
Human-in-the-loop: AI được phép tổng hợp và chuẩn bị thao tác, nhưng con người giữ quyền
quyết định cuối cùng.
Giao dịch được phát vào Kafka thông qua Mock Stream.
Fraud Engine kết hợp rule, mô hình Machine Learning và dữ liệu hành vi để đánh giá rủi ro.
Giao dịch đáng ngờ được chuyển thành cảnh báo có risk level, risk score, bằng chứng và SLA.
Cảnh báo được đưa vào hàng đợi ưu tiên.
Chuyên viên nhận cảnh báo thông qua Claim Next Alert hoặc My Assigned Queue.
Investigation Workspace tập hợp dữ liệu liên quan vào một hồ sơ.
Copilot hỗ trợ tra cứu, tóm tắt và chuẩn bị thao tác.
Chuyên viên xem trước, xác nhận hoặc hủy thao tác.
Backend kiểm tra danh tính, quyền và hạn mức phê duyệt.
Kết quả được lưu cùng audit log, trace và feedback.
Các thành phần chính
1. Transaction Streaming
Mock Stream đọc dữ liệu CSV và phát lại giao dịch theo kịch bản có thể kiểm soát.
Kafka đóng vai trò trung gian giữa luồng giao dịch và Fraud Engine, giúp:
Tiếp nhận giao dịch liên tục.
Tách quá trình gửi giao dịch khỏi quá trình chấm điểm.
Mô phỏng các đợt giao dịch tăng cao.
Replay cùng một kịch bản phục vụ demo và kiểm thử.
Hạn chế việc một service chậm làm dừng toàn bộ pipeline.
2. Fraud Engine
Fraud Engine là trung tâm xử lý nghiệp vụ và là nơi duy nhất được phép thực hiện các thay đổi nhạy
cảm đối với cảnh báo.
Hệ thống kết hợp:
Rule nghiệp vụ có thể kiểm tra.
LightGBM được triển khai bằng ONNX.
39 feature về giao dịch và hành vi.
Lịch sử giao dịch được tính theo time window.
Trạng thái hành vi gần đây từ Redis.
Quan hệ tài khoản, thiết bị và IP từ Neo4j.
Fraud Engine chịu trách nhiệm:
Chấm điểm rủi ro.
Áp dụng threshold.
Tạo và lưu cảnh báo.
Quản lý trạng thái cảnh báo.
Phân công và claim công việc.
Ghi chú và quyết định.
Kiểm tra quyền người dùng.
Xử lý approval limit.
Phát WebSocket event.
Lưu audit log và feedback.
Risk score là điểm dùng để xếp hạng rủi ro, không được diễn giải trực tiếp như xác suất gian lận đã
hiệu chỉnh.
3. Alert Queue và phân công công việc
Paycify cung cấp hai hàng đợi chính:
Unassigned Queue: các cảnh báo chưa có người chịu trách nhiệm.
My Assigned Queue: các cảnh báo đã được giao cho người dùng hiện tại.
Tính năng Claim Next Alert giúp chọn cảnh báo phù hợp tiếp theo dựa trên mức rủi ro và SLA, thay vì
để chuyên viên tự tìm kiếm ngẫu nhiên.
Khi một cảnh báo được claim:
Hệ thống kiểm tra trạng thái hiện tại.
Ngăn nhiều người cùng nhận một cảnh báo.
Gắn người chịu trách nhiệm.
Cập nhật hàng đợi theo thời gian thực.
Lưu lại thao tác phục vụ kiểm toán.
4. Investigation Workspace
Trang Investigation tập hợp thông tin phục vụ quá trình điều tra:
Thông tin giao dịch.
Người gửi và người nhận.
Risk score, threshold và model version.
Các tín hiệu rule và ML.
Lịch sử giao dịch liên quan.
Thiết bị, IP và vị trí.
Quan hệ giữa các tài khoản.
Ghi chú của chuyên viên.
Checklist điều tra.
Trạng thái SLA.
Quyết định và yêu cầu phê duyệt.
Lịch sử xử lý.
Thông tin không tồn tại phải được ghi rõ là không có dữ liệu. Paycify không tự điền bằng suy đoán
hoặc biến dữ liệu synthetic thành bằng chứng thật.
Copilot có thể:
Tóm tắt cảnh báo đang mở.
Truy vấn hàng đợi cá nhân hoặc chưa phân công.
Tìm cảnh báo tiếp theo.
Tổng hợp lịch sử giao dịch.
Phân tích quan hệ tài khoản.
Giải thích các tín hiệu rủi ro đã có.
Chỉ ra dữ liệu còn thiếu.
Chuẩn bị ghi chú hoặc quyết định.
Đề xuất bước điều tra tiếp theo.
Agent sử dụng LangGraph để tổ chức quá trình thu thập và tổng hợp thông tin. Các nguồn dữ liệu được
giới hạn thông qua tool registry và contract rõ ràng.
Copilot không được:
Thay đổi risk score hoặc threshold.
Tự tạo bằng chứng không tồn tại.
Tự block giao dịch hoặc khóa tài khoản.
Bỏ qua quyền của người dùng.
Tự động thực hiện quyết định tài chính.
Tiết lộ secret, token hoặc system prompt.
6. Quick Actions
Quick Actions cho phép chuyên viên thao tác bằng slash command hoặc ngôn ngữ tự nhiên.
Nếu thiếu alert, nội dung hoặc lý do, Copilot phải hỏi thêm thay vì tự suy đoán.
Nếu cảnh báo thay đổi sau khi preview được tạo, thao tác sẽ chuyển thành stale và không được thực
hiện bằng dữ liệu cũ.
Quick Actions ghi dữ liệu và nhận diện ngôn ngữ tự nhiên được kiểm soát bằng feature flag để có thể
rollout theo từng mức độ an toàn.
7. Human-in-the-loop và phân quyền
Người dùng đăng nhập bằng JWT. Backend kiểm tra danh tính và quyền ở phía server thay vì chỉ ẩn
chức năng trên giao diện.
Paycify hỗ trợ:
Role-based access control.
Ownership của cảnh báo.
Approval limit theo người dùng.
Preview trước khi thay đổi dữ liệu.
Xác nhận hoặc hủy thao tác.
Phát hiện stale action.
Thời hạn cho action draft.
Idempotency để hạn chế thực hiện trùng.
Approval workflow cho quyết định vượt thẩm quyền.
Audit log cho các hành động quan trọng.
AI Agent được tách khỏi Fraud Engine. Agent có thể đọc và chuẩn bị thao tác, nhưng thay đổi cuối
cùng phải quay lại Fraud Engine để được xác thực.
8. Dữ liệu và lưu trữ
MySQL: lưu giao dịch, cảnh báo, người dùng, phân công, ghi chú, quyết định, approval,
feedback, chat session, memory và audit.
Redis: lưu trạng thái hành vi gần đây và hỗ trợ các phép kiểm tra time-window hoặc velocity.
Neo4j: biểu diễn quan hệ giữa tài khoản, giao dịch, thiết bị và IP.
WebSocket/STOMP: cập nhật hàng đợi, trạng thái và domain event theo thời gian thực.
9. Feedback, telemetry và observability
Quyết định của chuyên viên có thể được lưu thành feedback có nhãn để phục vụ:
Đánh giá mô hình.
Phân tích false positive và false negative.
So sánh threshold.
Xây dựng tập dữ liệu cho lần huấn luyện tiếp theo.
Đánh giá chất lượng Copilot.
Feedback không tự động làm thay đổi mô hình hoặc trở thành ground truth mà chưa qua kiểm soát.
Paycify lưu trace cho các yêu cầu Copilot, bao gồm:
Thời gian xử lý.
Provider và model được sử dụng.
Prompt token và completion token.
Chi phí ước tính.
Trạng thái từng bước.
Lỗi hoặc dependency không khả dụng.
Audit ID liên kết với thao tác nghiệp vụ.
Dữ liệu và kết quả mô hình
Paycify sử dụng PaySim làm dữ liệu nền và bổ sung có kiểm soát các trường synthetic về:
Thiết bị.
Địa chỉ IP.
Vị trí.
Thời gian.
Lịch sử người nhận.
Quan hệ giữa các tài khoản.
Toàn bộ dữ liệu của MVP là dữ liệu tổng hợp, không phải dữ liệu khách hàng hoặc giao dịch tài chính
thực tế.
Mô hình LightGBM hiện sử dụng 39 feature và được đánh giá bằng time-based split để hạn chế việc
nhìn trước dữ liệu tương lai.
Kết quả trên validation:
Số giao dịch: 209.712.
Recall: 80,08%.
Bắt đúng: 1.745/2.179 giao dịch gian lận.
Alert rate: 29,26%.
Precision: 2,84%.
Threshold hiện được chọn theo chính sách recall-first: đạt ít nhất 80% recall, sau đó sử dụng alert
budget nhỏ nhất có thể nhưng không vượt 30%.
Kết quả cho thấy mô hình đã có khả năng bắt phần lớn giao dịch gian lận trong tập validation, nhưng
vẫn tạo ra quá nhiều cảnh báo. Paycify chưa có bằng chứng rằng hệ thống đã giảm false positive hoặc
vượt trội hơn các nền tảng trên thị trường.
Tính khả thi
Các thành phần được chia thành service riêng, thuận tiện phát triển, kiểm thử và thay thế.
Kafka và CSV replay giúp kịch bản demo có thể lặp lại.
LightGBM được đóng gói bằng ONNX để chạy trực tiếp trong Fraud Engine.
MySQL giữ trạng thái nghiệp vụ sau khi tải lại trang hoặc khởi động lại service.
Redis và Neo4j có thể được bật theo nhu cầu của môi trường.
Frontend nhận cập nhật thông qua WebSocket.
Agent được cô lập khỏi các thao tác ghi dữ liệu nhạy cảm.
JWT, RBAC, approval limit và audit được kiểm tra ở backend.
Feature flag cho phép rollout Quick Actions theo từng mức độ rủi ro.
Trace, token và chi phí có thể được theo dõi theo request.
Môi trường prototype hiện được triển khai trên Railway. Forecast hạ tầng tại thời điểm đo khoảng
US$9,19 cho một chu kỳ, chưa bao gồm chi phí LLM API và không đại diện cho production TCO.
Giới hạn hiện tại
Paycify hiện là prototype end-to-end phục vụ học tập, trình diễn và kiểm chứng quy trình. Sản phẩm
chưa phải hệ thống có thể đưa trực tiếp vào vận hành tài chính.
Các giới hạn đã biết:
Dữ liệu và policy hiện tại đều là synthetic.
Chưa thử nghiệm với fraud analyst trong môi trường thực tế.
Alert rate và precision của mô hình còn chưa phù hợp để vận hành.
Copilot đôi lúc còn chậm hoặc chưa hoàn thành đúng yêu cầu.
Benchmark Agent hiện mới ở quy mô nội bộ và chưa đủ để chứng minh hiệu quả sản phẩm.
Chưa có load test ở quy mô giao dịch thực tế.
Chưa hoàn thiện SLO, backup, disaster recovery và incident runbook.
Chi phí production chưa được xác định.
Một số Quick Actions ghi dữ liệu vẫn được bảo vệ bằng feature flag.
Paycify hỗ trợ con người đưa ra quyết định, không thay con người chịu trách nhiệm.
Hướng phát triển
Giảm alert rate nhưng vẫn giữ recall theo mục tiêu kinh doanh.
Bổ sung feature hành vi từ dữ liệu thực tế thay vì tiếp tục tạo thêm tín hiệu synthetic.
Hiệu chỉnh threshold theo chi phí bỏ sót gian lận và năng lực xử lý của đội ngũ.
Đo thời gian xử lý cảnh báo trước và sau khi sử dụng Paycify.
Đo số cảnh báo mỗi chuyên viên có thể hoàn thành trong một ca.
Đo tỷ lệ cảnh báo khẩn bị trễ SLA.
Đánh giá mức độ nhất quán giữa các quyết định của chuyên viên.
Pilot Queue, Investigation và Copilot với người dùng thật.
Hoàn thiện RAG bằng policy có ownership, version và citation rõ ràng.
Mở rộng evaluation cho prompt injection, provider failure và dependency-down.
Bổ sung load test, SLO, monitoring, alerting và cost budget.
Hoàn thiện backup, recovery, security review và production runbook.
Rollout Quick Actions theo từng nhóm quyền và mức độ rủi ro.
Chỉ mở rộng thêm agent khi workflow hiện tại chứng minh được giá trị vận hành.
Một cảnh báo chỉ có giá trị khi con người có thể biến nó thành một quyết định đáng tin cậy.
