Microsoft научила ChatGPT управлять роботами и дронами

Исследователи Microsoft рассказали, как сумели автоматизировать управление робототехникой с помощью ChatGPT. В одном из случаев ИИ попросили, чтобы дрон сделал селфи, и ChatGPT направил беспилотник к зеркалу, чтобы тот снял фото на камеру.

В Microsoft считают, что ChatGPT может упростить процесс программирования команд для управления различными роботами, такими как механические манипуляторы и дроны. В ходе эксперимента исследователи предварительно указывали нейросети, какие функции из высокоуровневой библиотеки можно задействовать, а какие — нельзя. Как и заведено у ChatGPT, в случае неоднозначных просьб он начал задавать уточняющие вопросы, а затем синтезировал сложный код для управления машиной. Что интересно, для ИИ‑системы было не так важно, где работает контролируемый робот: в реальности или в симуляции.

В итоге чат-бот справился со всеми поставленными задачами. Например, одной из задач была выложить логотип Microsoft из цветных деревянных кубиков с помощью роборуки, а другой — заставить съёмочный дрон сделать селфи в зеркало. И то и другое было выполнено без ошибок.

Хотя исследование и демонстрирует потенциал ChatGPT в робототехнике, подход по-прежнему имеет сильный недостаток: чат-бот может написать компьютерный код для робота только на основе первоначальной «подсказки» или текстового запроса, который даёт ему человек. То есть, неизбежно потребуется «куратор», который будет подробно объяснять ИИ механизмы интерфейса прикладного программирования.

Источник: 4PDA.