AI·20K Demo Day ZineĐang in số mới...
№ 59
Synthetic Dataset Generator | Sim2Real - AI20K-170
Pipeline tạo YOLO dataset synthetic-to-real cho robot object detection, sinh ảnh từ PyBullet sim, tăng realism bằng GenAI (SD1.5 / FLUX), và chứng minh cải thiện mAP trên ảnh camera thật so với sim-only baseline.
AI20K-170: Synthetic Dataset Generator (Sim-to-Real, YOLO Object Detection)
Cohort 2, Team 013, Gate 3 Phạm Hoàng Anh Kiệt (Leader), Nguyễn Trung Kiên (Evals & Training), Nguyễn Tiến Sỉ (Platform)
1. Bài toán
Train YOLO cho robot tabletop cần hàng trăm đến hàng nghìn ảnh nhiều góc, mỗi ảnh phải gán bounding box thủ công. Chi phí này là bottleneck đã được xác nhận trong học thuật: bộ YCB Video (Xiang et al., RSS 2018) có 133.827 frame vì thu thập và gán nhãn ảnh thật quá tốn kém.
Dùng simulator sinh ảnh nhanh và nhãn tự động, nhưng model học từ ảnh sim thuần lại thường fail trên camera thật do texture, ánh sáng, background và nhiễu cảm biến không khớp thực tế. Đây là "Reality Gap" (Tobin et al., IROS 2017): sự khác biệt giữa physics simulator và thế giới thực là rào cản chính khi dùng dữ liệu mô phỏng cho robot thật. Horváth et al. (2022) đo được mức sụt giảm hiệu năng rõ rệt khi test model synthetic trained trên ảnh thật.
Ngoài ra, mỗi lần đổi vật thể, background hoặc góc camera phải lặp lại toàn bộ chu trình chụp, gán nhãn, train, test.
Tóm lại: cần tạo nhanh dataset object detection cho vật thể tabletop đã biết, giảm gán nhãn thủ công, nhưng phải chứng minh được bằng số liệu là model chạy tốt hơn trên camera thật, chứ không chỉ tạo ảnh đẹp hơn.
2. Giải pháp kỹ thuật
Dùng generative AI (diffusion model) để đưa ảnh mô phỏng tiến gần ảnh thật, trong khi nhãn bounding box từ simulator được giữ nguyên.
Chuỗi xử lý: PyBullet Sim (CPU, nhãn tự động) sau đó GenAI Realism (SD1.5 hoặc Flux.2 Klein) sau đó xuất YOLO Dataset (ZIP, đã gán nhãn, qua QA).
Insight cốt lõi: diffusion model render lại texture theo hình dạng vật thể, không dịch chuyển vị trí vật thể, nên bbox lấy từ PyBullet vẫn đúng sau khi tăng realism.
Hai workflow realism:
- SD1.5 + ControlNet (Texture Augment): giữ shape nhờ điều kiện hóa Depth và Canny, render tăng texture, bbox giữ nguyên.
- Flux.2 Klein 4B (Full Scene Realism, khuyến nghị): dùng ảnh sim làm reference, render texture cả vật thể và background, vật thể cố định, không cần ControlNet.
Kiến trúc 4 tầng, triển khai trên HuggingFace Spaces:
| Tầng | Thành phần | Tham số |
|---|---|---|
| 1. Simulation | PyBullet: RGB, Depth, Canny, YOLO labels, CPU | 7.2 fps, 500 frames trong 69 giây |
| 2. Generative Realism | SD1.5 + ControlNet D+C + IP Adapter; Flux.2 Klein 4B, 8 steps | ZeroGPU RTX 6000 Ada 48GB |
| 3. Quality Gate | Blur (Laplacian), Exposure clipping | Auto reject |
§
Phụ lục — Demo & Slides
Video demo
Bản demo trực tiếp
Slide trình bày