Джейк Фицджеральд, Ubuntu Summit 26.10. Редакционный перевод доклада и ответов на вопросы. Иллюстрации взяты из презентации. Оригинальная запись, Переведеная запись(rutube), Переведеная запись(youtube).

Я хотел собрать недорогой шестикоординатный манипулятор из листового металла. Оказалось, что языковая модель может написать код, который строит CAD-модель, а затем проверить геометрию и помочь с подготовкой производства. Но между убедительным рендером и рабочей деталью по-прежнему много итераций. Из этой работы вырос открытый проект text-to-cad.

С чего начался манипулятор

По образованию я мехатроник: учился в Австралии, но карьеру строил в разработке ПО, в том числе в WhatsApp. Потом стал сооснователем финтех-компании, которая запустила биржу опционов. В этом году захотел вернуться к робототехнике и посмотреть, что изменилось с тех пор, как я учился. Поставил себе конкретную задачу: построить недорогой манипулятор.

Первым делом я купил SO-101, открытый манипулятор с деталями, напечатанными на 3D-принтере, и недорогими сервоприводами. Комплектующие стоили около ста долларов. Проект Роба Найта вдохновил меня разработать свою версию. Я выбрал листовой металл ради жёсткости. В требования записал шесть степеней свободы, вылет 600 мм, полезную нагрузку 500 г, комплектующие дешевле 200 долларов и сборку за 20 минут. Это были цели проекта.

Трудности начались сразу. Я открыл Onshape и понял, что после десяти лет без CAD мне тяжело в нём работать. Это мощный инструмент, но на плоском экране нужно описывать трёхмерную форму через множество операций, и каждой надо научиться.

Тогда я обратился к Codex. Полгода назад агенты уже неплохо писали код, однако плохо ориентировались в пространстве. Первую версию я с трудом собрал с помощью открытых геометрических ядер и скриптов. Попутно написал набор инструментов, чтобы агент мог строить и править детали. После публикации проект быстро разошёлся. На момент доклада у него было около 26 тысяч звёзд и полмиллиона загрузок. Им пользуются люди, которые печатают детали дома, и небольшие компании без отдельной команды инженеров-механиков.

Из чего состоит Text to CAD

В Claude Code или Codex устанавливается локальный MCP-сервер и набор навыков. Вы описываете изделие и условия изготовления, например 3D-печать или раскрой листового металла. Агент пишет скрипт, затем из него строится модель и экспортируются нужные файлы.

Три составляющие Text to CAD

Три составляющие Text to CAD

В проекте три основные части:

  1. Навыки. Файлы Markdown объясняют агенту, какими командами и в какой последовательности пользоваться. Это особенно важно для инструментов, с которыми модель мало знакома.

  2. Пакет на Python. Он работает поверх build123d, библиотеки для описания геометрии на базе Open CASCADE. Открытые ядра не во всём сопоставимы с проприетарным Parasolid, однако их возможностей хватает для многих простых деталей и 3D-печати. Пакет ускоряет повторные сборки, сохраняя геометрию в памяти. Раньше даже небольшая правка моего манипулятора могла стоить двух минут ожидания до экспорта STEP.

  3. MCP-приложение. В Codex рядом с чатом открывается просмотрщик модели. Там можно показать агенту, какую часть изделия нужно поправить.

Как дать точную обратную связь

Выделите деталь, грань или ребро и вставьте ссылку с уникальным идентификатором в запрос. Агент найдёт элемент и рассмотрит соседнюю геометрию. Так можно сказать: «Сдвинь это отверстие вправо и увеличь его диаметр вдвое», привязав указание к конкретному отверстию.

Когда словами объяснить сложнее, я фиксирую ракурс и рисую пометки поверх изображения. Инструмент сделан на базе Excalidraw и прикладывает набросок к запросу. С этими двумя способами обратной связи я смог спроектировать довольно сложный механизм, хотя на это ушло много итераций.

Выбор элементов CAD-модели и эскиз поверх изображения

Выбор элементов CAD-модели и эскиз поверх изображения

Цикл проектирования

Агент получает запрос, записывает скрипт build123d на диск, строит модель и делает снимок. По снимку он оценивает, соответствует ли форма заданию. Если находит проблему, уточняет, что исправить, и повторяет цикл. В него может вмешаться пользователь. Для размеров и других измеримых условий можно добавить отдельные геометрические проверки.

Цикл CAD от запроса до проверки снимка модели

Цикл CAD от запроса до проверки снимка модели

С ростом проекта особенно важны быстрые снимки и связь между геометрией и исходником. Если я отмечаю грань или ребро, агент может определить, какая строка кода построила этот элемент. Это экономит время, когда скрипт разрастается до десятков тысяч строк.

Что пошло не так

Первые модели плохо удерживали требования. Попросишь кронштейн из листового металла, а в ответ получишь многослойную деформированную геометрию, которую этим способом не изготовить. Ошибки накапливаются по мере усложнения сборки. Я до сих пор даю новым моделям исходное техническое задание и проверяю, смогут ли они спроектировать весь манипулятор за один запуск. Пока не смогли.

Есть и ошибки, которые обнаруживаются только на производстве. Например, я ждал неделю, пока SendCutSend вырежет комплект деталей, а получил вытянутые отверстия. Агент некорректно экспортировал контур в DXF. Неудачный экспорт и неверный допуск могут испортить деталь, даже если на экране она выглядит правдоподобно.

Ошибки CAD-агентов, от непригодной геометрии до неправильного экспорта

Ошибки CAD-агентов, от непригодной геометрии до неправильного экспорта

Интересный контраст: Fable 5.1 примерно за два дня создала концептуальную модель сложного автомобильного двигателя за один запуск. На новом манипуляторе даже Opus 5.5 показала лишь небольшое улучшение. Двигатель хорошо представлен в обучающих примерах. Модель примерно знает, что у него должно быть где. У необычного кронштейна из листового металла такой подсказки нет. Даже на снимке собственной сборки агенту бывает трудно понять, что перед ним.

Концепт двигателя и результат попытки спроектировать манипулятор

Концепт двигателя и результат попытки спроектировать манипулятор

Где появился прогресс

За последние полгода стало больше способов измерять качество. Уилл Патрик одним из первых показал, как проверять твердотельное моделирование с помощью LLM. Тест Михаила Рабиновича из Hugging Face проверяет восстановление точной детали по инженерному чертежу. Чтобы оценить, насколько точно она восстановлена, можно сравнивать исходное тело с полученным по объёму и геометрии.

Сравнение результатов на тестах восстановления геометрии

Сравнение результатов на тестах восстановления геометрии

С появлением Astra я заметил скачок в пространственном мышлении. Похожие улучшения увидел у Fable 5.2 и Opus 5.5. Агенты стали лучше понимать снимки того, что сами построили. На слайде концепт роботизированной кисти с тросовым приводом, сделанный за один запуск. Такую кисть трудно моделировать: тросы деформируются, а хорошо описанных примеров подобных механизмов немного. Изображение показывает концепцию, которую ещё предстоит проверить инженерными расчётами и испытаниями.

Концептуальная модель роботизированной кисти с тросовым приводом

Концептуальная модель роботизированной кисти с тросовым приводом

Более убедительный для меня пример связан с реальным манипулятором. Когда он останавливался, конструкция сильно раскачивалась. Я попросил Astra выяснить причину, поскольку сам мало работал с такими расчётами. Агент выполнил модальный анализ и предложил добавить усиливающее кольцо к кронштейну плечевого узла. Слайд может сбить с толку: на старом варианте другая сторона сервопривода была закрыта. Агент предложил убрать часть материала и добавить кольцо. По расчёту напряжения снизились, а конструкция стала устойчивее. Инженеру такое изменение может быть очевидно, но для агента это заметный прогресс.

Изменение плечевого узла и результаты расчёта

Изменение плечевого узла и результаты расчёта

Что можно автоматизировать помимо CAD

Расчёты. Агент может отправить модель в открытый решатель CalculiX, сравнить варианты методом конечных элементов и по результатам изменить параметры. На слайде показаны эксперименты с расположением отверстий, толщиной деталей и усилением плечевого узла.

Конечно-элементные расчёты вариантов деталей

Конечно-элементные расчёты вариантов деталей

Чертежи. Для мастерской нужны размеры, допуски и обозначения. По словам инженеров, с которыми я разговаривал, оформление иногда отнимает столько же времени, сколько сама трёхмерная модель. Поэтому автоматизация чертежей и таблиц отверстий полезна, даже если выглядит менее эффектно, чем генерация трёхмерного рендера.

Инженерные чертежи с размерами и таблицей отверстий

Инженерные чертежи с размерами и таблицей отверстий

Изготовление из листового металла. Команда SendCutSend предоставила свои производственные требования в формате, удобном для языковой модели. Я написал навык, который их читает. После изменений агент проверяет модель и может сказать, например, что отверстие находится слишком близко к сгибу или что толщина листа не подходит для выбранного процесса.

Сверка модели с производственными требованиями SendCutSend

Сверка модели с производственными требованиями SendCutSend

3D-печать. Перед поездкой мне срочно понадобилось проверить крепление камеры на манипуляторе. Я был в спортзале, описал простой кронштейн с телефона и удалённо запустил печать. Когда вернулся к столу, готовое крепление уже лежало на платформе принтера. Для меня это был наглядный пример того, насколько сократился путь от идеи до детали.

Кронштейн камеры, спроектированный и отправленный на печать с телефона

Кронштейн камеры, спроектированный и отправленный на печать с телефона

Симуляция и управление. Claude написал программную часть системы управления моим манипулятором примерно за полчаса. В университете я потратил значительную часть последнего семестра на обратную кинематику и планирование траекторий для промышленного манипулятора. Здесь агент справился за один проход.

Симуляция рабочей зоны и реальный прототип манипулятора

Симуляция рабочей зоны и реальный прототип манипулятора

Что меняется, когда CAD-модель хранится как код

Скрипты можно хранить в Git, смотреть историю правок и собирать модель по нужной версии. В репозитории text-to-cad, по моей оценке, меньше 3 МБ скриптов в каталоге примеров. Они генерируют около 10 ГБ моделей. Исходники удобно хранить и проверять, а объёмные файлы можно получить при сборке.

Из одного набора параметров можно построить целый конвейер. Когда меняется геометрия моего манипулятора, пересобирается URDF — файл, описывающий звенья, суставы и пределы их движения. Затем планировщик траекторий и обратная кинематика используют эти данные, чтобы проверить движение рабочего органа. Результаты возвращаются к исходному проекту.

Например, я могу уменьшить диапазон плечевого сустава на 20° с каждой стороны и спросить, сколько точек рабочей зоны станут недостижимыми. Тогда изменение в CAD можно оценить по последствиям для реального движения, а проверку включить в конвейер сборки.

Конвейер от параметрической геометрии до проверок движения

Конвейер от параметрической геометрии до проверок движения

Три прогноза

1. Параллельная генерация вариантов изделия

Представьте, что инженер составляет подробное задание и запускает десятки или сотни агентов с немного разными требованиями. Через несколько дней он получает множество конструкций, выбирает удачные решения и прорабатывает их дальше. Это напоминает работу с генераторами изображений. Я смотрю на задачу как разработчик, и инженеры-механики могут с такой картиной поспорить. Пока тысячи параллельных запусков на несколько дней слишком дороги, но сам подход может снизить порог входа в разработку оборудования.

Прогноз о множестве параллельно разработанных вариантов изделия

Прогноз о множестве параллельно разработанных вариантов изделия

2. «Горький урок» для 3D и роль кода

Джонатан Бэррон из Google предложил смотреть на то, что нужно получить на выходе. Если цель — фильм, модель может генерировать кадры напрямую. Построение трёхмерной сцены с последующей съёмкой добавляет промежуточный шаг. Для видеоигры нужна интерактивная сцена. Для изготовления детали нужна точная инженерная геометрия. В этих задачах трёхмерное представление само становится частью результата. Доклад Джонатана Бэррона.

Слайд о том, когда явная трёхмерная модель нужна в результате

Слайд о том, когда явная трёхмерная модель нужна в результате

Точность CAD усложняет применение диффузионных методов. Мой прогноз состоит в том, что языковая модель сможет описывать кодом больше видов результатов. Сегодня это CAD-модель или сцена, которую скрипт превращает в ролик Blender. В перспективе робот мог бы генерировать код управления рабочим органом во время работы. Возможность редактировать программу даёт контроль: можно изменить нужный параметр или операцию и пересобрать результат.

Код как основа модели, изображения, видео или действия робота

Код как основа модели, изображения, видео или действия робота

3. Неявная геометрия

Большинство CAD-систем используют граничное представление, B-rep: тело задают поверхности и их границы, например в файле STEP. Полигональная сетка описывает форму вершинами и треугольниками. Эти явные представления работают хорошо, вокруг них выросли инженерные инструменты. Для человека привычно начертить профиль и выдавить его.

В неявном представлении поверхность можно описать функцией. У функции знакового расстояния нулевой уровень задаёт поверхность, а знак отличает внутреннюю область от внешней. Из простых форм вроде сферы и параллелепипеда можно собирать сложную геометрию, часто несколькими строками кода. Для агента, который хорошо работает с математикой и программированием, такой способ может стать удобным. Для сообщества открытого ПО здесь есть возможность создать зрелое ядро неявного моделирования.

Примеры неявных моделей и демонстрационное приложение

Примеры неявных моделей и демонстрационное приложение

Пока я продолжу развивать text-to-cad. На слайде одна из последних версий манипулятора, исходники которой я планирую опубликовать, и работы сообщества.

Прототип манипулятора Джейка и работы сообщества

Прототип манипулятора Джейка и работы сообщества

Вопросы из зала

Насколько полезны сообщения CAD-ядер об ошибочной геометрии для агента? Я не специалист по ядрам. По моему опыту, сообщения Open CASCADE менее информативны, чем у Parasolid. Думаю, это будет меняться: агенты могут помочь большему числу людей участвовать в развитии открытых ядер.

Проверяла ли одна модель результат другой? Некоторое время я запускал несколько независимых рецензентов. Одни проверяли внешний вид, другие — механику. У них не было предыстории основного диалога, поэтому они могли оценить проект свежим взглядом. Так я получил некоторые из самых сложных моделей за один запуск. Сейчас агенты лучше справляются с самопроверкой.

С чего начать и как помочь проекту? Откройте репозиторий, попробуйте инструменты на своей детали и расскажите, что получилось. Проект пока экспериментальный, и в нём ещё многое нужно сделать для полноценной разработки физических изделий. Мы открыты к предложениям и вкладу.

Сколько неудачных манипуляторов пришлось сделать? Сейчас у меня примерно шестая итерация. Если бы начал заново, справился бы быстрее. Время на развитие text-to-cad отчасти появилось потому, что очередную партию деталей из листового металла приходилось ждать неделю.

В русско-язычном робототехническом сообществе мы создали отдельный топик в чате для обсуждения применения AI агентов для разработки роботов, подключайся к обсуждению!