
На первом видео я поднимаю правую руку и наклоняюсь вбок. AgiBot X2 Ultra повторяет жест, а ступни остаются на полу. В руке у меня обычный Touch, на голове старенький Quest 2. По картинке кажется, что достаточно передать роботу координаты контроллеров. Мы с этого и начали. Первым сдался локоть.
Я Лев Ларин, инженер Unibot. Мы подключили Quest 2 к NavStudio, вывели в шлем изображение с робота и сделали два режима управления. На месте X2 повторяет руки, голову и корпус. Для ходьбы есть стики и штатный балансир. Ниже разберу, как пришли к этим двум режимам и что измерили на железе.
NavStudio — наша разработка в Unibot, веб-панель для работы с AgiBot X2 Ultra. В ней сохраняем карты и точки, собираем экскурсии с рассказами на остановках и запускаем сценарии. На самом X2 уже есть русские голосовые команды, сопровождение выбранного человека и Social Gaze: робот поворачивает голову к собеседнику. Навыки ставятся отдельными плагинами. VR Control добавили так же, а управление движением оставили за общим бортовым диспетчером Motion Owner.
Кисть на месте, локоть гуляет
Первый вход сделали через WebXR. Браузер отдавал позу шлема и контроллеров, и этого хватало, чтобы ставить задачу «приведи кисть сюда». У X2 Ultra семь степеней свободы на руку. В одну и ту же точку с одним и тем же поворотом кисти он может прийти с локтем у бока или с отведённым локтем. При переносе жеста эта разница видна сразу. Спецификация AimDK X2.
Мы перешли на нативное приложение на базе Meta OpenXR SDK. Body Tracking даёт плечо, локоть и запястье, Touch отдельно отдаёт кнопки и аналоговые стики. У каждой позы есть флаги валидности. Если их проигнорировать, можно принять заполненный буфер за измерение. В первой диагностической серии один вызов возвращал 84 элемента и успех, а валидных поз было ноль. В прогоне с надетым шлемом получали 84 валидные позиции и 70 ориентаций. Даже такой кадр сам по себе ничего не говорит о точности стоп, поэтому управление ногами из скелета в рабочую сборку не вошло. Как Meta описывает чтение поз и флагов.
OpenXR ведёт XR-сессию. Внутри неё лежит обычная панель NavStudio на Android WebView, выведенная в quad layer через Android Surface. В панели камера и управление, а луч контроллера работает как указатель. Картинка в шлеме идёт с левой фронтальной камеры X2: JPEG шириной до 1024 пикселей, до восьми кадров в секунду. Meta OpenXR SDK.


Как локоть попал в расчёт
Начало координат для обеих рук ставим между плечами оператора. Из кадра убираем поворот корпуса, приводим оси OpenXR к осям X2 и масштабируем поперечную координату по ширине плеч, остальные две — по длине руки. Если оператор сводит кисти перед собой, середина у него и у робота остаётся в одном месте относительно плеч. Для ориентации запястья опираемся на штатную T-позу Meta.
Дальше берём готовый x2ik. Он решает задачу для позы кисти с ограничениями суставов, а мы выбираем вариант по положению локтя. Всего в пакетном вызове до 131 угла для поиска. Если несколько решений укладываются в 2 мм от лучшей ошибки локтя, выигрывает то, для которого суставам нужно меньше всего сместиться от предыдущей команды. Так положение локтя остаётся частью жеста, а выбор ветки IK меньше дёргает руку. Исходники AgiBot Community.
Боковой захват Touch работает как муфта. Отпустил — команда этой руки удерживается. Зажал снова — рука идёт к текущей позе оператора в той же системе координат. Позицию при новом захвате заново за ноль не принимаем. Шаг команды ограничивает бортовой цикл: до 0,04 рад за такт на 50 Гц. Голова берёт отклонение шлема от направления при старте, корпус следует ориентации торса.

Кадры можно выбрасывать. Нажатие STOP должно дойти
Позы идут по WebSocket. На принимающей стороне хранится свежий кадр, пока решатель работает с предыдущим. Если за это время пришло пять поз, после расчёта берём последнюю. Доигрывать очередь движений после паузы Wi-Fi опасно: человек уже опустил руку, пока робот только собирается её поднять.
Кнопки живут по другому правилу. APK считает фронты A, B, X и Y и передаёт накопленные счётчики вместе с кадром. Короткое нажатие B переживает замену промежуточной позы и обрабатывается даже при пропавшем скелете. A запускает выбранный режим, B завершает его, X переключает ходьбу и жесты, Y показывает положение рук по суставной телеметрии.
У просроченной позы нет права продлить управление. После 350 мс без действительного задания бортовой Motion Owner обнуляет скорость и удерживает руки. При явном STOP он завершает ту же операцию и запрашивает штатное стояние. Камера остаётся открытой. Похожий сбой со старым вводом мы уже ловили на колёсном роботе. «Джойстик отпустили. Робот не в курсе».
Почему ходьбу вынесли на X
Мы пробовали одновременно держать независимые цели для рук и передавать скорость. В опыте X2 завибрировал, полезного движения не получилось. В журнале контроллер пять раз запросил переход из UPPERBODY_REMOTE_SPLIT в LOCOMOTION_DEFAULT и получил No transition rule. Почему возникла сама вибрация, из этой записи установить нельзя. Временный профиль сняли.
В рабочей версии X последовательно завершает текущую операцию и запускает другую. Для ходьбы левый стик задаёт продольное и боковое направление, правый — поворот. Корпус при этом ведёт штатная модель движения. Для жестов X возвращает позы рук, головы и корпуса, поступательная скорость задана нулевой. Если нажать B во время переключения, ожидающий запуск отменяется.
С первым профилем VR X2 слабо поворачивал, медленно пятился и вообще не получал боковую ось. Записали штатный пульт. В потоке увидели задания до ±1,8 м/с вдоль корпуса, ±1,0 м/с поперёк и ±1,0 рад/с на поворот. Перенесли масштаб на сервер, шлем шлёт три нормированные оси. Штатный режим скорости сохранили: в нашей пробе он ограничивал продольную команду до 0,8 м/с вперёд и 1 м/с назад.
Что записали на роботе
В прогоне с NavStudio VR 0.8.0 и APK 1.7.6 проверили ходьбу вперёд и назад, боковой шаг, поворот и оба перехода по X. В записи ходьбы — 3211 команд, в среднем 47,64 Гц, медианный интервал 20,69 мс, p95 26,87 мс. В последней записи жестов — 2595 пакетов на 49,97 Гц. Самая длинная пауза между пакетами составила 52,37 мс. Эти цифры относятся к потокам команд. Задержку от движения руки до физического отклика по ним определить нельзя.

После B по телеметрии вернулся STAND_DEFAULT, измеренная линейная скорость была около 0,0013 м/с. Затем сам возобновился Social Gaze: робот снова поворачивал голову к человеку без команды из шлема.
У танца на видео граница видна по ногам. Там я работаю руками и корпусом, а X2 стоит. Чтобы пройти пару шагов, переключаюсь кнопкой X. Привязку стоп к оператору пока оставили на стенде.

Комментарии 0