Поумневшие роботы делают оригами и играют в карты

Исследовательское подразделение компании Google — Google DeepMind — представила проект Gemini Robotics. Это модель «зрение-язык-действие» (Vision-Language-Action, VLA) на базе продвинутой языковой модели Gemini 2.0. Роботы этой модели воспринимают окружающий мир с помощью камер и сенсоров, распознают объекты, их расположение и свойства. Они понимают текстовые или голосовые команды и могут интерпретировать инструкции. Роботы используют машинное обучение, чтобы адаптироваться к изменяющимся условиям, анализировать ситуацию и принимать решения в реальном времени. Главное новшество проекта — роботы учатся без заранее заданных инструкций (скриптов).

По информации разработчиков, обучение роботов проходило в двух режимах — симуляция и реальная среда. При этом использовалось имитационное обучение, когда робот копирует действия человека. А также обучение с подкреплением, когда система оценивает успешность действий и корректирует алгоритмы. Например, если робот учится загружать посудомоечную машину, он сначала пробует разные способы укладки посуды. Если предметы падают или не помещаются, система получает «штраф». Если посуда уложена правильно, робот получает «поощрение» и запоминает успешный алгоритм. Со временем он учится оптимально расставлять предметы. 

Роботы обучались различать предметы и аккуратно брать их манипуляторами, даже если форма и размер не были заранее известны. Экспериментальные модели открывали микроволновки, сортировали и упаковывали продукты. Они даже складывали оригами, играли в карты и «крестики-нолики». 

Возможности робота Gemini Robotics. Источник: deepmind.google

Эта технология значительно отличается от традиционной робототехники, где роботы выполняют заранее прописанные команды. При этом проект пока далек от коммерческого использования. Манипуляторы не всегда аккуратно берут предметы, и ошибки накапливаются. Роботам требуется много попыток, чтобы выработать оптимальные стратегии. Не все команды выполняются одинаково быстро и корректно, особенно в сложных условиях. Однако, команда Google DeepMind продолжает тестирование Gemini Robotics.