Робот, обученный в игровом симуляторе, лучше работает в реальной жизни
Обучение робота в виртуальном симуляторе позволяет ему запомнить, как выходить из сложных ситуаций.
Ученые из ETH Zurich в Швейцарии обучили алгоритм нейронной сети, который был разработан для управления четвероногим роботом, в похожей на видеоигру смоделированной среде, которая была полна холмов, ступеней и лестниц. Исследователи указали алгоритму, в каком направлении робот должен двигаться, а также ограничили скорость его поворота, отражая возможности настоящего робота. Затем они запустили алгоритм, совершая случайные движения в симуляции, «награждая» его за правильное движение и «наказывая» в противном случае. Накапливая награды, нейронная сеть научилась перемещаться по разнообразной местности.
Изначально исследователи использовали небольшую нейронную сеть, которая была запрограммирована на основе знаний о моделируемой среде, что позволило алгоритму быстро обучаться, принимая входные данные от виртуальных датчиков и запоминая их. Затем они передали эти данные в большую сеть, используемую для управления настоящим роботом. Используя этот опыт, робот смог двигаться со скоростью 0,452 метра в секунду по покрытой мхом земле — более чем в два раза быстрее, чем он мог двигаться изначально с программой по умолчанию.
