«Я просто хотел, чтобы AI проверял свой код. Что могло пойти не так?» — техническая история GUI-тестирования двух Delphi-продуктов и двенадцати открытых приложений.
Меня зовут Игорь Белых. Я пишу на Delphi почти двадцать лет — от Delphi 5 до современных версий, — а ещё был тимлидом, скрам-мастером и функциональным лидом, руководил командами до 50 человек. Тестирование — моя давняя тема: я делал на DUnit фреймворк для тестов MSSQL, а ещё в 2014 году писал о тестах процедур Firebird. Сейчас я разрабатываю Deskcheck — инструмент, который даёт AI-агентам проверять Windows-приложения через настоящий GUI.
Статья будет полезна, если вы:
поддерживаете десктопное приложение на Delphi, WinForms, WPF или другом Windows-стеке и хотите, чтобы AI-агент не только писал код, но и проверял его;
строите GUI-автотесты и упираетесь в UI Automation, координаты и нестабильные прогоны;
думаете, как гонять GUI-тесты в виртуальных машинах параллельно.
Мой основной проект сейчас — большое десктопное приложение, назовём его App A: Delphi 12, DevExpress VCL 25, около 237 форм, база данных, десятилетия истории. Claude Code пишет для него код, собирает его — и на этом всё. Что происходит в окне, агент не видит. Код компилируется, а работает ли он — вопрос к человеку.
Эта статья о том, как мы закрыли эту дыру: что пришлось построить, чтобы агент мог сам кликнуть по форме, проверить результат в гриде и в базе, а потом прогнать ту же проверку без AI, в виртуальной машине, хоть сто раз. И о том, что сломалось, когда мы принесли всё это в чужое приложение, ещё более старое.
Шаг 0. Claude ничего не знает о нашем приложении

Claude Code видит код, компилятор и лог сборки. Но о самом приложении он не знает ничего: какие в нём формы, как они выглядят, что лежит в гриде, что записалось в базу после нажатия «Сохранить». Для агента App A — это текст, который либо компилируется, либо нет.
Это проблема. «Компилируется» не значит «работает», и проверять приходится человеку: открыть приложение, пройти сценарий, посмотреть на результат. Агенту нужны две вещи: руки — драйвер, который действует настоящим вводом ОС, и глаза — адаптер, который изнутри приложения говорит, что на экране. О них следующие два шага.
Шаг 1. Драйвер: настоящая мышь и клавиатура

Драйвер нажимает и печатает так же, как человек: SendInput, настоящие окна, настоящий фокус. Никакого прямого вызова обработчиков. Это медленнее и капризнее, зато проверяет то, что увидит пользователь: если кнопку перекрыло окно лицензии, тест это заметит.
Отсюда же целый ряд мелких правил, которые пришлось записать в код: клик идёт только в включённую форму; если форму заблокировало чужое окно, драйвер ждёт до 5 с; смещение клика внутри контрола масштабируется под DPI (@ 10,10 на 150 % становится 15,15), так что один тест работает на любом масштабе экрана.
Шаг 2. Адаптер и протокол DIP

Чтобы драйвер знал, куда кликать и что читать, в приложение встраивается маленький адаптер. В Delphi это один модуль под директивой:
uses
Vcl.Forms,
DemoMain in 'DemoMain.pas' {MainWindow},
DemoEdit in 'DemoEdit.pas' {EditDialog}
{$IFDEF DESKCHECK}
, DemoRegistration in 'DemoRegistration.pas'
, Deskcheck.Locator
{$ENDIF};
В релизной сборке адаптера нет. В тестовой он поднимает HTTP-слушателя на loopback и отвечает на вопросы по протоколу, который мы назвали DIP (Deskcheck Identity Protocol). Например, «что в этой точке экрана?»:
{
"dip": "1.1",
"op": "locate",
"outcome": "ok",
"window": "MainWindow",
"id": "btnSave",
"role": "button",
"nativeType": "TButton",
"rect": { "x": 812, "y": 604, "width": 75, "height": 25 }
}
Главное правило протокола мы назвали «инвариант 0», и исключений у него нет:
DIP is read-only. No operation […] MAY click, type, select, focus, scroll, dismiss, close, raise, or change application state.
Адаптер только сообщает. Действует только драйвер, и только настоящим вводом. Если строка грида за пределами видимой области, адаптер не прокручивает грид, а отвечает «строка ниже, на столько-то страниц» — и драйвер прокручивает сам, колесом или клавишами, как человек. Эта дисциплина окупилась: тест никогда не проходит потому, что адаптер «помог» приложению.
Протокол не привязан к транспорту и к Delphi. Тот же набор операций (locate, getControl, listControls, content, menus, locateCell, locateItem и другие) реализуют адаптеры для WinForms, WPF, Qt, Python, Java, Electron.
Цена входа — имена контролов. Адаптер может назвать только то, у чего есть имя, а в App A их годами генерировала IDE. План был переименовать около 3666 контролов на 237 формах; первым коммитом переименовали примерно 450 на одной форме.
Шаг 3. Каталог: форма такой, какая она на экране
Каждая форма в определённом состоянии описывается каталогом: имя контрола и его прямоугольник.
# catalogue: EditDialog
# window: 326x139
# path: open-edit-dialog
edtValue 13,41,300,23
btnOk 133,96,85,28
btnCancel 228,96,85,28
Важная деталь: каталог снимается с живого окна, а не с .dfm. Ранний вариант строил каталог по статическому описанию формы — и промахнулся по кнопке высотой 23 px на 19 px. Якоря, автомасштабирование, темы — в файле формы этого нет.
Прямоугольник в каталоге — запасной вариант. Когда адаптер может сказать, где контрол сейчас, драйвер целится туда.
Шаг 4. Тест-кейс: текст, который читается глазами

Агент проходит сценарий через рекордер: каждое действие выполняется драйвером и сразу записывается строкой теста. На выходе — обычный текстовый файл:
# case: edit-dialog-roundtrip
# btnEdit opens EditDialog seeded with edtName; the value typed there comes back into edtName on OK.
window MainWindow
type MainWindow edtName "Before"
click MainWindow btnEdit
window EditDialog
# Ctrl+A then Delete empties the box before typing (measured: Ctrl+A alone left "Before" in front of the
# typed text, "BeforeAfter" - the typing does not replace a selection it did not make).
key EditDialog Ctrl+A
key EditDialog Delete
type EditDialog edtValue "After"
click EditDialog btnOk
window MainWindow
assert control MainWindow.edtName.text == "After"
Комментарий посередине — не украшение. Так выглядит каждая ловушка, на которую мы наступили: однажды кто-то получил «BeforeAfter», и теперь объяснение живёт в самом тесте.
Кейсы собираются из повторяющихся фрагментов — step-файлов (include open-edit-dialog), кейсы — в наборы (suite), наборы — в списки enrolment (ворота перед слиянием) и regression. Отдельно описываются ожидаемые окна сообщений (messages) и «прерывания» (interruptions) — окна, которые могут выскочить когда угодно, вроде напоминания о лицензии.
Шаг 5. Что умеют проверки
Когда говорят «GUI-тест», обычно представляют «кнопка нажалась, окно открылось». Нам этого быстро стало мало: бизнес-логика Delphi-приложения живёт в гриде и в базе. Вот что сейчас умеет assert:
Что проверяем | Примеры |
|---|---|
Свойства контрола |
|
Содержимое списков, гридов, деревьев, мемо |
|
Редакторы | позиция курсора, несколько выделений, форматирование строки rich edit ( |
База данных |
|
Файлы | количество и имена файлов в папке; строки текстового файла; CSV ( |
Буфер обмена | текст, строки, наличие RTF и его форматирование |
Окна сообщений | какое из описанных сообщений сейчас впереди, его кнопка по умолчанию |
Окна, мастера, диалоги | показано/заголовок; текущий шаг мастера; состояние стандартного диалога файла; InputQuery |
Процесс |
|
Эталонные снимки |
|
Доказательства |
|
Несколько примеров из настоящих наборов.
Грид DevExpress с инкрементным поиском (демо-приложение Deskcheck):
click DxGridsWindow grdOrders.cell[4,Kunde]
key DxGridsWindow Shift+G
assert content DxGridsWindow.grdOrders.searching == true
assert content DxGridsWindow.grdOrders.search == "G"
assert content DxGridsWindow.grdOrders.view[lvlLines].searching == false
key DxGridsWindow Escape
assert content DxGridsWindow.grdOrders.searching == false
Редактирование в гриде, которое должно дойти до базы (HeidiSQL):
include open-customers
dblclick MainForm DataGrid @ 175,48
shot cell-editor
key MainForm Shift+M
key MainForm A
key MainForm D
key MainForm R
key MainForm I
key MainForm D
key MainForm Enter
key MainForm Ctrl+Enter
assert sql "SELECT city FROM customers WHERE id = 2" == "Madrid"
Экспорт в CSV (HeidiSQL):
assert file exports1:${database.export_file}:csv.count == 6
assert file exports1:${database.export_file}:csv.matches[London] == 3
Эталонный снимок — штука коварная. Мигающий курсор в поле делает каждый снимок немного другим. Маскировать его мы принципиально не стали: проверка ждёт, пока курсор «моргнёт» и кадры сойдутся. Маска прятала бы и настоящие изменения в том же месте.
Шаг 6. Runner: AI выключен

Когда кейс записан, AI для повторного прогона не нужен. Runner читает файл, действует через драйвер, читает через адаптер, проверяет и пишет отчёт со снимками. Ноль токенов, и результат не зависит от настроения модели.
Он же отвечает за скучную, но критичную механику: окно проверок для ассертов (группа ассертов между двумя действиями проверяется вместе, с повтором до таймаута), повтор клика, который приложение «проглотило», честное сообщение, что кейс остановился и сколько строк ниже не выполнилось, коды выхода, которые отличают «тест красный» от «сломалась среда».
Шаг 7. Чистая база перед каждым набором

Первый тест создал запись, второй ждал пустую таблицу, третий упал без вины кода. Классика. Поэтому перед каждым набором база возвращается в известное состояние.
Для серверных СУБД есть отдельный подготовленный образ виртуальной машины («database golden»; о виртуальных машинах — в следующем шаге) с четырьмя серверами: SQL Server, MariaDB, PostgreSQL, Firebird. Инсталляторы проверяются по SHA-256 до запуска первого. Для Firebird со встроенной базой сделали file seed: база восстанавливается копированием файла.
Кстати, ещё в марте 2014 года я писал про тестирование процедур Firebird на «абсолютно чистой» базе (оригинал в моём блоге не сохранился, ссылка ведёт на полную цитату). Некоторые проблемы упрямо возвращаются.
Шаг 8. Флот виртуальных машин



GUI-тест занимает мышь и клавиатуру. Пока он идёт, работать за компьютером невозможно. А обычный CI-агент, крутящийся службой в Session 0, рабочего стола не имеет вовсе — там нечего нажать.
Поэтому тесты живут в Hyper-V-клонах («lanes»):
каждый прогон берёт лейн в аренду (lease-файл с pid и временем старта процесса — Windows переиспользует pid), восстанавливает чекпойнт
golden-idle(чистое состояние, снятое с эталонного образа — golden), заливает сборку и тесты, запускает runner в консольной сессии гостя, забирает доказательства на любом пути выхода и выключает машину;аренда считается протухшей, если владелец умер, pid принадлежит другому процессу, прошло 12 часов или пропущено три heartbeat'а;
каждый прогон оставляет JSON-запись
queued → started → finishedс кодом выхода и путём к доказательствам;два ядра на клон по умолчанию: на одном UI приложения и его фоновая работа делят ядро, и адаптер не успевает ответить до таймаута (определили опытным путём).
Отдельный git worktree на каждую задачу даёт параллельную работу: несколько веток — несколько лейнов одновременно.
И тут мы упёрлись в железо. Клон стартует с 3 ГБ и может вырасти до 6. На 32 ГБ с открытыми инструментами разработки свободными оставались 2–4 ГБ — максимум две VM. Хуже всего, что гость, которому не хватает памяти, не падает честно: он пропускает тайминги, и падение выглядит как баг в приложении. Теперь в модуле флота правило: не стартовать лейн, если на хосте нет 4 ГБ сверх того, что держат запущенные лейны. После апгрейда до 64 ГБ — около 41 ГБ свободных и пять VM параллельно.
Шаг 9. Чужое приложение: App B
Пока всё это работает на одном приложении, остаётся неприятный вопрос: а может, оно работает только потому, что я знаю App A изнутри?
Технический директор другой компании согласился на эксперимент и дал доступ к своему репозиторию. App B оказался ещё более суровым полигоном:
App A | App B | |
|---|---|---|
Delphi | 12 | 2010 (компилятор 21.0) |
DevExpress VCL | 25.1 | «build 47» 2009 года (QuantumGrid 6.47) |
Другие компоненты | — | TeeChart, JVCL, FastReport, стандартные TMonthCalendar/TDateTimePicker |
База | MS SQL Server | Firebird 3, встроенная; ~1,9 ГБ |
Локаль | — | код в cp1251, украинский интерфейс, uk-UA |
Сборка под тесты | — | отдельная конфигурация MSBuild «Deskcheck», Release и Debug не трогаем |
Что заливается на VM | — | 2,2 ГБ, 2247 файлов на прогон |
Первый кейс позеленел на VM за одну ночь (13 ноября). За два дня — 5 наборов, 20 кейсов зелёные, около 121 прогона на флоте. Но по дороге пришлось докрутить немало:
База данных
file seed для
.fdb: база сбрасывается копированием файла, а не через сервер;шаг
sqlпосреди кейса и кавычки в именах таблиц вsql-строках;исправление
db check: каждый прогон проекта с базой заканчивался кодом 70 (ошибка среды).
Окна, которые появляются сами
чтение Delphi TaskDialog и клик по элементу list view по подписи;
окно лицензии, которое поднимается в фоне без фокуса, теперь распознаётся и закрывается;
после нажатия кнопки в окне сообщения runner ждёт до 10 с, пока оно исчезнет. До этого 4 из примерно 8 прогонов падали с ложным «окно ещё открыто»;
keyнаучился Backspace, Insert и Apps.
Флот
delta push: полная заливка занимала 47–311 с на упаковку, 58–84 с на копирование и 24–36 с на распаковку — против примерно минуты самих тестов. Теперь едет только разница;
региональный формат uk-UA для группы лейнов (переключение — перезапуск гостя, 43 с);
гонка в Hyper-V при перезаписи чекпойнта, найденная именно на машине App B;
образ «golden» теперь переживает перезагрузки Windows Update и продолжает сборку с места остановки.
Адаптер — контролы, которых мы раньше не видели
card view DevExpress, TcxListView, TcxMaskEdit, TcxColorComboBox, TcxMemo;
TMonthCalendar и TDateTimePicker;
форма, которую создают трижды, а Delphi переименовывает экземпляры в
X_1,X_2, теперь отвечает на своё design-имя. На форме настроек после этого адаптер увидел 70 контролов, и пробный кейс из красного стал зелёным;чтение инкрементного поиска грида (тот самый
searching/searchиз примера выше).
Поддержку Delphi 2010 в адаптере мы сделали ещё до прихода App B — и это, пожалуй, единственное, что не пришлось переделывать.
Ещё открыто: TeeChart, календарь из build 47 и сброс базы на уровне отдельного кейса.
Шаг 10. Не только Delphi

Двух Delphi-проектов мало, чтобы говорить об универсальности. Поэтому мы взяли открытые приложения на разных стеках и ввели три уровня доказательства:
L1 — Deskcheck реально управляет окнами приложения и читает их обратно;
L2 — набор тестов стабильно зелёный на зафиксированной версии приложения, на флоте;
L3 — AI-агент сам меняет код приложения, собирает, прогоняет GUI-тесты и исправляет найденное, без человека.
L2 на сегодня: HeidiSQL и Inno Setup (Delphi VCL), ShareX (WinForms), ScreenToGif (WPF), Notepad++ (C++ Win32), Tiled (Qt 6), Thonny и novelWriter (Python), jadx и JabRef (Java Swing и JavaFX), Joplin и VS Code (Electron). qBittorrent — L1. L3 доказан только на App A; для чужих приложений мы его не заявляем.
На открытых приложениях мы не просто гоняли тесты, а чинили настоящие баги. В Notepad++ после смены языка пропадают галочки в меню View (issue #15429):
window Main
menu Main 44022
assert control Main.44022.checkState == checked
include open-preferences
click Preferences 6124
key Preferences Down
key Preferences Enter
assert control Preferences.6001.text == "Fermer"
click Preferences 6001
window Main
click Main editor
assert window Preferences.shown == false
assert control Main.toolbar.44022.checkState == checked
assert control Main.44022.checkState == checked
Пункт меню адресован по command id, потому что после смены языка меняются все подписи. А проверка на «Fermer» гарантирует, что язык действительно переключился, — иначе тест мог бы пройти, ничего не проверив. На Notepad++ 8.9.8.1 кейс красный, с исправлением — зелёный.
Исправления отправлены апстриму: Notepad++ #18629 и ScreenToGif #1501 — на рассмотрении, а Inno Setup #648 мейнтейнер закрыл и попросил объяснить, какая от исправления практическая польза.
Шаг 11. Что мы поняли про «зелёные» тесты
PASS сам по себе ничего не доказывает. У нас были ложные зелёные результаты в отчётах. Теперь кейс на баг мы сначала доводим до красного на версии с багом и только потом — до зелёного на исправлении. Кейс Notepad++ выше и набор для ScreenToGif #1487 — именно такие.
Среда маскируется под продукт. Нехватка памяти на хосте, окно, перекрывшее форму, фоновый диалог, укравший фокус, занятый UI-поток — всё это выглядит как баг в приложении. Многие правила в модуле флота — это записанные последствия таких вечеров.
Первое сохранённое доказательство повторных зелёных прогонов датировано 21 августа, через шесть недель после первого коммита. Это нормально. Ненормально — верить зелёному с первого дня.
Вопросы, которые нам пришлось решить, и почему мы трижды переделывали архитектуру
Почему не UI Automation и не координаты
Первое, что приходит в голову, — Windows UI Automation. Она видит стандартные контролы, но сторонние гриды и кастомные компоненты для неё почти пустые. Ещё в первом дизайне, 11 июля, мы записали, что для нашего приложения она «фактически слепая». Для Delphi-программы, где половина интерфейса — DevExpress, это приговор.
За четыре месяца архитектура пережила три драйвера и два переписывания:
# | Подход | Жил | Почему умер |
|---|---|---|---|
1 | HTTP-хук внутри приложения: | 17–21 июля | умел только вызывать |
2 | Внешний runner с настоящим вводом ОС + локатор в приложении (предок адаптера); тесты — координаты | 21 июля – 23 августа | координатные файлы хрупкие; ревью 19 августа нашло 44 проблемы |
2b | Драйвер на PowerShell + Win32 P/Invoke (параллельно, для проверок агентом) | август | бенчмарк: 50,9 мин против 9 мин у переписанного runner'а |
3 | Каталог / шаг / кейс / набор | с 23 августа по сей день | живёт в Deskcheck |
Вывод из первых двух попыток: действовать надо настоящим вводом ОС, а знать, что на экране, — изнутри приложения. Отсюда два отдельных компонента — драйвер и адаптер из шагов 1 и 2.
Выводы
Deskcheck начинался не как продукт, а как попытка решить одну конкретную проблему: чтобы агент, который написал код для Windows-приложения, мог сам проверить, что код работает. Оказалось, что для этого нужны настоящий ввод, протокол идентичности контролов, каталоги, DSL с богатыми проверками, runner без AI, чистая база и флот виртуальных машин.
Сейчас это отдельный проект, и он уже работает на двух коммерческих Delphi-продуктах и двенадцати открытых приложениях.
Сейчас мы ищем бета-тестеров: команды с Windows-приложениями — Delphi, WinForms, WPF, C++, Qt, Java, Python или Electron, — которые хотят, чтобы их AI-агент проверял код в настоящем GUI. Записаться можно здесь: https://deskcheck.pro/#beta
И вопрос к вам, коллеги. Адаптер — это маленький модуль внутри вашего приложения. Хотели бы вы, чтобы адаптеры были открытыми — чтобы их можно было читать, править и дорабатывать под свои компоненты? И если да, то под какой лицензией: MIT, Apache 2.0, MPL или другой? Напишите в комментариях — это повлияет на наше решение.

Комментарии 0