Схема примерной архитектуры(сгенерена на коленке при помощи ИИ)

Схема примерной архитектуры(сгенерена на коленке при помощи ИИ)

У мобильного приложения есть галочка «Отправлять диагностику». Если её снять, приложение должно перестать отправлять отчёты. Ничего особенно интересного. Примерно такую проверку я бы оставил на ночь и утром посмотрел, что там в CI.

Допустим, утром всё зелёное. В журнале тестового сервера за ночь ни одного отчёта. Можно выпускать сборку?

Я пока оставлю этот вопрос. На Хабре я обычно пишу про Vulkan EDA, наш редактор и верификатор микросхем. Сегодня у нас другая железка. Мы собрали в Renvarco стенд, на котором несколько экземпляров Android работают параллельно на одной ARM-плате. И галочка выше хорошо объясняет, зачем мы вообще этим занялись.

Что взять у телефона, а что оставить эмулятору

Эмулятор удобен ровно до того места, где нам важно поведение релизной сборки на устройстве. Возьмём мобильный банк, который по собственной политике безопасности отказывается открывать сессию в тестовой среде. Автотест честно поставил APK, запустил его и подождал. До экрана с галочкой банк даже не дошёл. Что мы в таком случае узнали про отправку диагностики?

Можно взять обычный смартфон. Для одного спорного прогона я бы так и сделал. Но если нужны пятнадцать независимых прогонов одновременно, понадобится пятнадцать аппаратов. Каждый надо запитать, каждый вернуть в известное состояние. И если один зависнет в пятницу вечером, хорошо бы обойтись без человека, который в понедельник придёт подержать кнопку питания.

У нас было ещё одно условие. Стенд должен целиком помещаться в закрытом контуре заказчика. Установочный файл банка, подозрительный APK, запись сетевой активности после запуска остаются там же, где с ними работает инженер.

Что получилось в железе

В основе прототипа стоит модуль Radxa с 64 ГБ оперативной памяти. К нему подключены физические аппаратные узлы мобильных устройств. На плате работают контейнеры с Android 15 и 16. Оркестратор написали на Rust, для памяти используем сжатие. Всё питается без телефонных аккумуляторов.

Здесь легко перепутать две цифры. Первая, восемь, это число аппаратных профилей смартфонов, между которыми уже умеет переключаться прототип. Инженер может повторить один сценарий с другим профилем на той же плате. Если результат разойдётся, у него появится конкретный повод достать соответствующий телефон и сверить поведение.

Вторая цифра, от 7 до 20, это заявленный диапазон одновременных экземпляров Android на узел. Мы уже запустили несколько экземпляров параллельно. Но сколько из них за ночь успеют установить именно ваш APK, пройти авторизацию и выполнить весь сценарий, покажет замер на самой сборке. Двадцать открытых экранов настроек меня бы как результат мало заинтересовали.

Гораздо интереснее момент между заданиями. Первый тест снял галочку и завершился. Следующему по сценарию нужна свежая установка. Если ему достались настройки предшественника, он с самого начала проверяет другой случай. Поэтому в стенде предусмотрен автоматический возврат к чистому образу. Тогда оба состояния можно получить намеренно и понять, на каком из них расходится результат.

Три задачи для одного стенда

QA. Переживёт ли черновик обновление приложения

Представим приложение, в котором курьер оформляет возврат. Он успел отсканировать три товара из пяти и отложил телефон. За ночь приложение обновилось. Утром курьер открывает возврат. Сколько товаров он увидит?

При чистой установке новой сборки этот баг можно искать хоть неделю. Ставим предыдущую версию, сканируем три тестовых товара и обновляем приложение поверх. Если после обновления в черновике осталось два товара вместо трёх, у разработчика есть обе версии APK, профиль устройства и скриншоты до и после. Когда этот же сценарий проходит на Android 15 и падает на Android 16, появляется конкретная зацепка. К чистому образу стенд возвращаем между прогонами. Вернуть его посередине означало бы своими руками стереть всё, что мы собирались проверить.

AppSec. Что изменилось вместе с новой версией SDK

Другой заказчик такого прогона сидит в той же команде, только смотрит в сетевой журнал. Допустим, перед релизом мобильного банка обновили SDK аналитики. Инженер берёт текущую сборку и кандидата в релиз. На одном профиле с одинаковыми настройками открывает экран входа и пока ничего не нажимает.

Предположим, только новая сборка пытается связаться с доменом, которого команда не ждала. Сам адрес ещё мало что говорит. Зато теперь владелец релиза может спросить разработчика, зачем приложение обращается туда до входа в аккаунт. К вопросу можно приложить время, адрес и запись обоих прогонов. С этим уже можно идти разбираться до выкладки.

Команда ИБ. Что делает APK из сообщения о доставке

Теперь у аналитика на столе чужой файл. Сотруднику прислали ссылку якобы от службы доставки и предложили установить приложение, чтобы посмотреть, где посылка. Сотрудник переслал APK в службу безопасности. Что искать на телефонах тех, кто всё-таки его открыл?

Возьмём условный разбор. Аналитик запускает образец в изолированной лаборатории. На экране появляется «Сервис временно недоступен». Он закрывает окно. А через несколько секунд процесс приложения пытается установить ещё одно соединение. В журнале системных вызовов видно, что перед этим он открыл файл в своём каталоге. Аналитик повторяет запуск с чистого образа и проверяет, повторится ли эта последовательность.

Дежурной смене аналитик передаёт хеш APK, домен и короткую хронологию. По хешу можно искать тот же файл, по домену и времени сверять обращения в корпоративных журналах. Утверждать, что приложение отправило содержимое файла, пока рано. Стенд зафиксировал открытие файла и попытку соединения. Но теперь у команды есть с чего начать расследование, даже если единственный скриншот, который прислал сотрудник, показывает ошибку доставки.

Как я бы принимал такой стенд

Вернёмся к галочке. Представим приёмочный тест на нашем собственном учебном APK. Никаких клиентских данных. В отчёте одно поле с номером прогона, получатель тоже наш, внутри лаборатории.

Для начала включаем отправку и вызываем тестовое событие. Ждём, пока сервер запишет номер. Теперь знаем, что приложение дошло до нужного места, отчёт доехал и мы смотрим в правильный журнал. Возвращаем чистый образ, снимаем галочку и повторяем сценарий с новым номером. На этот раз записи быть не должно.

А теперь я бы дал стенду ещё одну сборку. Внешне она такая же. Галочка снимается, настройка сохраняется, экран можно закрыть и открыть снова. Только мы специально оставили в этой сборке ошибку. Отправщик игнорирует сохранённую настройку. Тестировщик, который смотрит на экран, разницы не увидит.

И вот теперь утренний зелёный отчёт меня всерьёз расстроит. Мы сами положили ошибку в APK. Если стенд пропустит её на одном профиле, за ночь он вполне может пропустить её ещё на семи. Параллелизм просто позволит нам ошибиться быстрее.

На демонстрации я хочу увидеть одну красную строку. Открыть её, прочитать «отправка отключена», а рядом в журнале сервера найти номер именно этого прогона. И только после этого я спрошу, сколько таких проверок плата успевает сделать за ночь.