Facebook создала платформу разработки робототехники с открытым исходным
Платформа упростит создание прототипов программного обеспечения.
Facebook создает платформу для создания роботов с открытым исходным кодом Droidlet. Проект ориентирован на роботов, которые используют обработку естественного языка и компьютерное зрение для понимания окружающего мира. По словам Facebook, Droidlet упрощает интеграцию алгоритмов машинного обучения в роботов, облегчая быстрое создание прототипов программного обеспечения.
Droidlet — способ проверить различные модели компьютерного зрения и обработки естественного языка. Он позволяет исследователям создавать системы, которые могут выполнять задачи в реальном мире или в смоделированных средах, таких как Minecraft или Facebook’s Habitat. Платформа предоставляет аналитическую панель, в которую исследователи могут добавлять виджеты и инструменты отладки и визуализации, а также интерфейс для исправления ошибок.
У Droidlet модульная конструкция. Платформа состоит из четырех интерфейсов:
- система памяти, действующая как информационный хаб для остальных модулей агента;
- набор модулей восприятия (например, обнаружение объектов или оценка позы), которые обрабатывают информацию из внешнего мира и хранят ее в памяти;
- набор низкоуровневых агентов, таких как «переместиться на три метра вперед» и «поместить предмет в руки в заданных координатах»;
- контроллер, который в зависимости от состояния системы памяти решает, какие задачи выполнять.
Droidlet позволит робототехникам использовать один и тот же интеллектуальный агент на разных роботах, меняя задачи и модули восприятия в соответствии с требованиями архитектуры и наличия или отсутствия определенных датчиков у конкретного робота.
