RT-2 от DeepMind превращает управление роботом в чат с искусственным интеллектом

Обучение робота может сводиться к использованию большой языковой модели, которая обрабатывает действия в той же строке, что и изображения и слова.

Роботизированный трансформер DeepMind версии 2 представляет собой большую языковую модель, которая обучается не только на изображениях и тексте, но и на координационных данных о движении робота в пространстве. После обучения ему можно предъявить изображение и команду и выдать как план действий, так и координаты, необходимые для выполнения команды.

Ключевым элементом будущего робототехники станет то, как люди смогут инструктировать машины в режиме реального времени. Но что это за инструкция — в робототехнике открытый вопрос.

Новое исследование, проведенное подразделением Google DeepMind, предполагает, что большая языковая модель, похожая на ChatGPT OpenAI, с учетом ассоциации между словами и изображениями, а также небольшого количества данных, записанных роботом, создает способ вводить инструкции для машины так же просто, как человек разговаривает. с ChatGPT.

В статье DeepMind «RT-2: Модели «видение-язык-действие» передают веб-знания в роботизированное управление», написанной Энтони Броханом и его коллегами и опубликованной в блоге, представлен RT-2, то, что он называет «видением- модель «язык-действие». (Также существует сопутствующий репозиторий на GitHub.) Аббревиатура RT означает «трансформатор робототехники».

Задача состоит в том, как заставить программу, которая использует изображения и текст, производить на выходе серию действий, имеющих значение для робота. «Чтобы модели на языке видения могли управлять роботом, их необходимо научить выводить действия», — как они выразились.

Ключевой вывод работы заключается в том, что «мы представляем действия роботов как другой язык», — пишут Брохан и его команда. Это означает, что действия, записанные роботом, могут стать источником новых действий, подобно тому, как обучение на тексте из Интернета заставляет ChatGPT генерировать новый текст.

Действия робота кодируются в робототехническом преобразователе как координаты в пространстве, известные как степени свободы.

«Пространство действия состоит из 6-степеней свободы позиционного и вращательного перемещения исполнительного органа робота, а также уровня выдвижения захвата робота и специальной дискретной команды прекращения эпизода, которая должна сработать политикой, чтобы сигнализировать об успешном завершении».

Токены вводятся в программу во время обучения в той же фразе, что и языковые токены слов и жетоны изображений картинок. Координаты робота становятся просто частью фразы.

Действия робота кодируются в робототехническом преобразователе как координаты в пространстве, известные как степени свободы. Токены вводятся в программу во время обучения в той же фразе, что и языковые токены слов и жетоны изображений картинок. Координаты робота становятся просто частью фразы.

Использование координат является важной вехой. Обычно физика роботов задается с помощью низкоуровневого программирования, которое отличается от нейронных сетей языка и изображений. Здесь все смешано.

Программа RT основана на двух предыдущих разработках Google, называемых PaLI-X и PaLM-E, которые представляют собой так называемые модели языка видения. Как следует из названия, модели языка видения — это программы, которые смешивают данные из текста с данными из изображений, так что программа развивает способность связывать их, например, назначать подписи к изображениям или отвечать на вопрос о том, что находится на изображении. .

В то время как PaLI-X фокусируется только на задачах с изображениями и текстом, PaLM-E, недавно представленный Google, идет еще дальше, используя язык и изображение для управления роботом, генерируя команды в качестве выходных данных. RT выходит за рамки PaLM-E в формировании не только плана действий, но и координат движения в пространстве.

RT-2 «является значительным достижением», — сказал Сергей Левин, доцент кафедры электротехники Калифорнийского университета в Беркли, в переписке по электронной почте с ZDNET. «По сути, RT-2 можно рассматривать как комплексную версию того, чего достигают PaLM-E + RT1, в одной модели», — сказал Левин, работавший над проектом PaLM-E. «Это делает передачу знаний интернет-масштаба роботам более прямой и может обеспечить более масштабируемый класс подходов в будущем».

В случае с RT-2 это преемник прошлогодней версии RT-1. Разница между RT-1 и RT-2 заключается в том, что первый RT был основан на небольшой программе языка и машинного зрения EfficientNet-B3. Но RT-2 основан на PaLI-X и PaLM-E, так называемых больших языковых моделях. Это означает, что у них гораздо больше нейронных весов или параметров, которые, как правило, делают программы более эффективными. PaLI-X имеет 5 миллиардов параметров в одной версии и 55 миллиардов в другой. У PaLM-E 12 миллиардов.

Обучение RT-2 включает в себя комбинации изображений и текста, а также действия, извлеченные из записанных данных робота.

После обучения RT-2 авторы проводят серию тестов, в ходе которых робот должен поднимать, перемещать, бросать предметы и т. д., вводя команды на естественном языке и изображение в командной строке. , точно так же, как если бы вы попросили ChatGPT что-то составить.

Например, при предъявлении подсказки, где на изображении изображен стол с кучей банок и моноблоком:

Given  Instruction: Pick the object that is different from all other objects

Робот сгенерирует действие, сопровождаемое координатами, чтобы взять шоколадку:

Prediction: Plan: pick rxbar chocolate. Action: 1 128 129 125 131 125 128 127

Трехзначные числа являются ключами к кодовой книге координатных движений.

РТ-2 по подсказке сформирует как план действий, так и ряд координат в космическом пространстве для выполнения этих действий.

Ключевым аспектом является то, что многие элементы задач могут представлять собой совершенно новые, никогда ранее не встречавшиеся объекты. «RT-2 способен обобщать различные ситуации реального мира, которые требуют рассуждения, понимания символов и человеческого распознавания», — рассказывают они.

В результате «мы наблюдаем ряд новых возможностей». «Модель способна переназначить навыки выбора и размещения, полученные из данных робота, для размещения объектов рядом с семантически указанными местами, такими как определенные цифры или значки, несмотря на то, что эти сигналы отсутствуют в данных робота. Модель также может интерпретировать отношения между объектов, чтобы определить, какой объект выбрать и где его разместить, несмотря на то, что в демонстрациях роботов такие отношения не предусмотрены».

В тестах с RT-1 и другими программами RT-2, использующий PaLI-X или PaLM-E, гораздо лучше справляется с задачами, в среднем выполняя около 60% задач с ранее невидимыми объектами по сравнению с менее чем 50% для предыдущие программы.

Есть также различия между PaLI-X, который не разработан специально для роботов, и PaLM-E, который разработан. «Мы также отмечаем, что, хотя более крупная модель на основе PaLI-X в среднем приводит к лучшему пониманию символов, рассуждению и распознаванию людей, меньшая модель на основе PaLM-E имеет преимущество в задачах, связанных с математическим рассуждением». Авторы объясняют это преимущество «другой смесью предварительного обучения, используемой в PaLM-E, в результате чего получается модель, более способная к математическим расчетам, чем PaLI-X, предварительно обученная в основном визуально».

Авторы приходят к выводу, что использование программ «зрение-язык-действие» может «поставить область обучения роботов в стратегическое положение для дальнейшего совершенствования за счет достижений в других областях», так что этот подход может принести пользу по мере улучшения обработки языка и изображений.

Однако есть один нюанс, и он восходит к идее управления роботом в реальном времени. Большие языковые модели требуют очень больших вычислительных ресурсов, что становится проблемой при получении ответов.

«Стоимость вычислений этих моделей высока, и поскольку эти методы применяются к настройкам, требующим высокочастотного управления, вывод в реальном времени может стать основным узким местом», — пишут они. «Захватывающим направлением будущих исследований является изучение методов квантования и дистилляции, которые могли бы позволить таким моделям работать с более высокой скоростью или на более дешевом оборудовании».