Новый алгоритм искусственного интеллекта для роботов неизменно превосходит по производительности самые современные системы

Инженеры Северо-Западного университета разработали новый алгоритм искусственного интеллекта (ИИ), разработанный специально для умной робототехники. Помогая роботам быстро и надежно освоить сложные навыки, новый метод может значительно улучшить практичность и безопасность роботов для целого ряда применений, включая беспилотные автомобили, дроны-доставщики, помощников по дому и автоматизацию.

Успех алгоритма, получившего название «Обучение с подкреплением с максимальной диффузией» (MaxDiff RL), заключается в его способности побуждать роботов исследовать окружающую среду как можно случайнее, чтобы получить разнообразный набор опыта.

Эта «спланированная случайность» улучшает качество данных, которые собирают роботы об их собственном окружении. А благодаря использованию данных более высокого качества смоделированные роботы продемонстрировали более быстрое и эффективное обучение, повысив свою общую надежность и производительность.

При тестировании на других платформах искусственного интеллекта смоделированные роботы, использующие новый алгоритм Northwestern, неизменно превосходили самые современные модели. Новый алгоритм работает настолько хорошо, что роботы изучают новые задачи, а затем успешно выполняют их за одну попытку — причем с первого раза. Это резко контрастирует с нынешними моделями искусственного интеллекта, которые позволяют более медленное обучение методом проб и ошибок.

Исследование под названием «Максимальное диффузное обучение с подкреплением» опубликовано в журнале. Природа Машинный интеллект.

«Другие системы искусственного интеллекта могут быть несколько ненадежными», — сказал Томас Берруэта из Northwestern, возглавлявший исследование. «Иногда они полностью справляются с задачей, но в других случаях они полностью терпят неудачу. С нашей структурой, пока робот вообще способен решить задачу, каждый раз, когда вы включаете своего робота, вы можете ожидать, что он выполнит эту задачу». именно то, что его попросили сделать. Это облегчает интерпретацию успехов и неудач роботов, что имеет решающее значение в мире, который все больше зависит от ИИ».

Берруэта — президентский научный сотрудник Northwestern и доктор философии. кандидат технических наук в Инженерной школе Маккормика. Эксперт по робототехнике Тодд Мерфи, профессор машиностроения в Маккормике и советник Берруэты, является старшим автором статьи. Берруэта и Мерфи написали статью в соавторстве с Эллисон Пиноски, также доктором философии. кандидат в лаборатории Мерфи.

Бестелесное разъединение

Для обучения алгоритмов машинного обучения исследователи и разработчики используют большие объемы больших данных, которые люди тщательно фильтруют и обрабатывают. ИИ учится на этих обучающих данных, используя метод проб и ошибок, пока не достигнет оптимальных результатов.

Хотя этот процесс хорошо работает для бестелесных систем, таких как ChatGPT и Google Gemini (ранее Bard), он не работает для встроенных систем искусственного интеллекта, таких как роботы. Вместо этого роботы собирают данные самостоятельно — без роскоши кураторов-людей.

«Традиционные алгоритмы несовместимы с робототехникой по двум причинам», — сказал Мерфи.

«Во-первых, бестелесные системы могут воспользоваться преимуществами мира, в котором физические законы не действуют. Во-вторых, отдельные неудачи не имеют последствий. Для приложений информатики единственное, что имеет значение, это то, что они успешны большую часть времени. В робототехнике одна неудача может иметь катастрофические последствия».

Чтобы решить эту проблему, Берруэта, Мерфи и Пиноски стремились разработать новый алгоритм, который гарантирует, что роботы будут собирать высококачественные данные на ходу.

По своей сути MaxDiff RL приказывает роботам двигаться более хаотично, чтобы собрать подробные и разнообразные данные об окружающей среде. Обучаясь посредством самостоятельного случайного опыта, роботы приобретают необходимые навыки для выполнения полезных задач.

Делаем все правильно с первого раза

Чтобы протестировать новый алгоритм, исследователи сравнили его с современными моделями. Используя компьютерное моделирование, исследователи попросили смоделированных роботов выполнить ряд стандартных задач. В целом роботы, использующие MaxDiff RL, обучались быстрее, чем другие модели. Также они правильно выполняли задания, гораздо более последовательно и надежно, чем другие.

Возможно, даже более впечатляюще: роботам, использующим метод MaxDiff RL, часто удавалось правильно выполнить задачу за одну попытку. И это даже тогда, когда они начали без каких-либо знаний.

«Наши роботы были быстрее и маневреннее, способными эффективно обобщать полученные знания и применять их в новых ситуациях», — сказал Берруэта. «Для реальных приложений, где роботы не могут позволить себе бесконечное время для проб и ошибок, это огромное преимущество».

Поскольку MaxDiff RL — это общий алгоритм, его можно использовать для самых разных приложений. Исследователи надеются, что это решит фундаментальные проблемы, сдерживающие развитие этой области, и в конечном итоге откроет путь к надежному принятию решений в области умной робототехники.

«Это не обязательно использовать только для движущихся роботизированных транспортных средств», — сказал Пиноски. «Его также можно использовать для стационарных роботов, таких как роботизированная рука на кухне, которая учится загружать посудомоечную машину. По мере того, как задачи и физическая среда становятся более сложными, роль воплощения становится еще более важной, которую следует учитывать в процессе обучения. Это важный шаг к реальным системам, которые решают более сложные и интересные задачи».