Новейший робопес умеет обучать сам себя

Данияр Хафнер, исследователь искусственного интеллекта из Калифорнийского университета в Беркли, работал со своими коллегами над тренировкой робота с помощью обучения с подкреплением. «Обычно роботы учатся путем большого количества проб и ошибок внутри компьютерных симуляций, которые позволяют пройти все шаги обучения намного быстрее, чем в реальном времени, - объясняет Хафнер. - После решения такой задачи, как вставание и ходьба в симуляции, изученное поведение затем запускается на физическом уровне. Но симуляция не может отразить сложность реального мира, поэтому поведение, которое хорошо работает в симуляции, может не решить задачу в реальном мире».

Традиционный тип машинного обучения предусматривает положительное подкрепление за выполнение определенных действий в реальной среде. Хафнер и его сотрудники — Филипп Ву и Алехандро Эсконтрела — использовали алгоритм под названием Dreamer, который работает на основе прошлого опыта для построения модели реального мира, а также позволяет роботу проводить расчеты методом проб и ошибок.

«Алгоритм Dreamer продемонстрировал большие перспективы для обучения на небольшом количестве взаимодействий путем планирования в рамках изученной модели мира, — заявляют исследователи в своей статье. - Изучение модели мира для прогнозирования результатов потенциальных действий позволяет планировать в воображении, уменьшая количество проб и ошибок, необходимых в реальной среде».

После того, как робот научился ходить, он также может научиться приспосабливаться к другим, менее предсказуемым действиям, - как, например, в случае, когда исследователи ткнули его палкой. Даже при обучении с подкреплением, которое дает отличные результаты для того, чтобы превзойти людей в настольных или видеоиграх, обучать роботов правильно действовать в реальном мире чрезвычайно сложно и требует точного взаимодействия ученых и инженеров в определении того, какие именно действия должны вознаграждаться. «Применение обучения с подкреплением к физическим роботам — большая проблема, потому что мы не можем ускорить время в реальном мире, а симуляторы роботов часто недостаточно точно отражают реальный мир», — объясняют Хафнер и его коллеги.

Исследователи высоко оценили полученные результаты. «Наш проект продемонстрировал, что физическое обучение может значительно ускорить обучение роботов действиям в реальности, - пишут они. - Это приближает нас к решению сложных задач автоматизации, таких как производство и сборка и даже самоуправляемые автомобили».
Однако многие ученые считают использованный алгоритм слишком сложным. «Робототехник должен будет составлять отдельную программу каждой задачи, которую предстоит решать роботу, — объясняет Леррел Пинто, доцент компьютерных наук в Нью-Йоркском университете, специализирующийся на робототехнике и машинном обучении. - Но для этого потребуется огромный объем кода, и все равно целый ряд ситуаций, которые просто невозможно предсказать, останутся в стороне».

Исследовательская группа также отмечает ряд сложностей, связанных с этим типом технологий.
«Хотя Dreamer показывает многообещающие результаты, обучение на физическом уровне в течение многих часов приводит к износу роботов, что может потребовать вмешательства человека или ремонта, — признают они. - .Кроме того, требуется дополнительная работа, чтобы изучить ограничения Dreamer и наши базовые показатели путем более длительного обучения. Так что в итоге можно сказать, что мы рассматриваем решение более сложных задач обучения путем объединения преимуществ быстрого обучения в реальном мире с преимуществами симуляторов, как эффективное направление будущих исследований».
Хафнер надеется научить робота выполнять голосовые команды и, возможно, подключить камеры к собаке, чтобы дать ей зрение, — это позволит ей выполнять типичные собачьи действия, такие как игра в апорт.
Обучение роботов - перспективное направление сегодняшнего дня. В другом свежем исследовании ученые из Немецкого института интеллектуальных систем имени Макса Планка показали, что их робот-собака по кличке Морти может легко научиться ходить, используя сложный алгоритм, включающий датчики в лапах. «Как инженеры и робототехники, мы искали ответ, создавая робота, который обладает рефлексами, как у животных, и учится на ошибках, — говорит в своем заявлении Феликс Рупперт, бывший докторант исследовательской группы Dynamic Locomotion в институте имени Планка. - Если животное спотыкается, это ошибка? Нет, если это произойдет один раз. Но если он часто спотыкается, это дает нам представление о том, насколько хорошо робот ходит».
Собака-робот немецких исследователей работает, используя сложный алгоритм, который определяет, как она учится. Информация от датчиков стопы сопоставляется с данными спинного мозга модели, которая работает как программа внутри компьютера робота. Роботизированная собака учится ходить, постоянно сравнивая установленную и ожидаемую информацию от датчиков, запуская рефлекторные петли и адаптируя способ регулирования своих движений.