Mô tả dự án

LLM-Panda là một hệ thống mô phỏng điều khiển robot công nghiệp bằng ngôn ngữ tự nhiên. Thay vì yêu cầu người vận hành phải biết lập trình robot, hệ thống cho phép người dùng nhập lệnh bằng tiếng Việt hoặc văn bản đời thường, sau đó robot sẽ tự phân tích yêu cầu, lập kế hoạch thao tác và thực hiện hành động trong môi trường mô phỏng.

Dự án tập trung vào bài toán thường gặp trong sản xuất, logistics và kho bãi: robot công nghiệp có thể làm việc rất chính xác, nhưng lại khó thay đổi tác vụ nếu dây chuyền thay đổi sản phẩm, vị trí vật thể hoặc yêu cầu thao tác. Trong nhiều trường hợp, doanh nghiệp phải phụ thuộc vào kỹ sư robotics để lập trình lại, gây tốn thời gian và làm giảm tính linh hoạt của hệ thống tự động hóa.

Bài toán thực tế

Trong các kho hàng, dây chuyền phân loại hoặc mô hình sản xuất nhỏ, robot thường được dùng cho các tác vụ như gắp, đặt, di chuyển hoặc sắp xếp vật thể. Tuy nhiên, các tác vụ này thường được lập trình theo kịch bản cố định. Khi vật thể thay đổi vị trí, khi cần hoán đổi đồ vật, dọn vật cản hoặc xử lý một yêu cầu khác với kịch bản ban đầu, hệ thống truyền thống khó phản ứng linh hoạt.

LLM-Panda hướng đến việc làm cho robot dễ sử dụng hơn với người không chuyên. Người vận hành không cần viết code hay nhập tọa độ, mà chỉ cần đưa ra yêu cầu như: “gắp hộp bánh vào khay trống”, “đổi vị trí hai vật thể”, hoặc “dọn vật đang cản đường trước khi thực hiện lệnh chính”.

Giải pháp kỹ thuật

Hệ thống được thiết kế theo hướng tách riêng phần “hiểu lệnh” và phần “điều khiển robot”.

Ở tầng đầu tiên, hệ thống nhận câu lệnh từ người dùng, phân tích ý định và hiểu trạng thái hiện tại của môi trường. Từ đó, hệ thống tạo ra một chuỗi hành động phù hợp, ví dụ: xác định vật thể cần gắp, chọn vị trí đặt, xử lý vật cản nếu có, hoặc lập kế hoạch hoán đổi vị trí giữa các vật thể.

Ở tầng thực thi, robot không làm theo câu trả lời tự do của AI một cách trực tiếp. Thay vào đó, các hành động được đưa về những thao tác rõ ràng và có kiểm soát như gắp, đặt, di chuyển, dọn vật cản hoặc lập lại kế hoạch. Cách thiết kế này giúp hệ thống giữ được tính linh hoạt của AI, nhưng vẫn đảm bảo robot hoạt động theo quy trình ổn định và dễ kiểm soát.

Hiện tại, dự án được triển khai dưới dạng mô phỏng có thể truy cập qua web. Người dùng có thể nhập lệnh, quan sát môi trường robot, theo dõi kế hoạch thao tác và xem robot thực hiện nhiệm vụ trong không gian mô phỏng.

Các năng lực chính

LLM-Panda hiện tập trung vào các năng lực sau:

• Gắp và đặt vật thể theo lệnh tự nhiên.
• Suy luận dựa vào vị trí chính xác, ví dụ như thế chỗ, hoán đổi hoặc chọn đúng vị trí đặt.
• Dọn đồ vật cản trở quá trình thực hiện.
• Lập kế hoạch thao tác theo từng bước để robot có thể thực hiện lệnh một cách rõ ràng.

Ngoài ra, hệ thống cũng được định hướng để xử lý các tình huống thực tế hơn, chẳng hạn như phát hiện câu lệnh mơ hồ, hỏi lại người dùng khi chưa đủ thông tin, từ chối những yêu cầu ngoài phạm vi và lập lại kế hoạch nếu lệnh ban đầu chưa hoàn thành.