В PARI бывают дни, когда мы выпускаем до 20 релизов. А раньше был один большой раз в две недели — с конфликтами кода, долгим тестированием и риском откатить все изменения из-за одной ошибки. Для перехода к частым релизам нам даже не пришлось менять стек.

Меня зовут Лёша, я хед разработки в PARI. Расскажу, как мы перестроили процесс, научились выпускать фичи независимо друг от друга и почему однажды чуть не вернулись к старым проблемам, объединив 30 задач в одну фичу. 

Жили себе спокойно, раз в две недели выкатывали релиз. Что не так? 

Раньше мы работали по классическому скраму: двухнедельные спринты, в конце которых выходил один большой релиз. Разработчики объединяли изменения в общей релизной ветке, а после всё это тестировалось и отправлялось в продакшен. Проблемы у такого подхода стандартные, вот вам типичные ситуации: 

  • Пример № 1. Петя и Вася одновременно работают над двумя разными функциями, которые затрагивают один участок кода. Петя заканчивает раньше и отправляет изменения в общую ветку. Когда Вася пытается добавить свои, возникает конфликт: система не может самостоятельно определить, какие изменения нужно сохранить. И они идут разбираться вручную. Чем больше изменений накапливается в релизной ветке, тем сложнее становится их объединять и тестировать. Причём проверять нужно не только новую функциональность, но и существующие сценарии приложения, которые она могла затронуть.

  • Пример № 2. Но основная боль начиналась после релиза. Представим, что мы две недели разрабатывали 10 функций. Выпустили обновление, а в продакшене баг. Дальше два варианта: срочно готовить хотфикс или откатывать весь релиз, включая девять функций, которые прекрасно работали. А особенно весело, если релиз выходил вечером. Разработчики сидели до ночи, искали причину ошибки и готовили исправление. 

И даже небольшая готовая функция могла ждать окончания спринта, потому что остальные изменения ещё не были готовы к релизу. Тогда мы посмотрели на всё это и решили менять подход, тем более что технических затыков для этого не было — мешал только процесс.

Мы ничего не изобрели — просто перестали собирать всё в одну кучу

У нас всё как и везде: GitLab, Kubernetes, настроенная инфраструктура CI/CD и тестовые окружения. Поэтому проблема не в инструментах, а в том, как мы организовали работу.

Вместо накопления мы решили выпускать отдельные готовые функции независимо друг от друга. Если фича разработана, протестирована и не зависит от других незавершённых задач, ей не нужно ждать окончания спринта. А теперь история в четырёх актах о том, как мы принимали это решение. 

В направлении работает 35 человек. Это немного, поэтому с организационной стороны переход был простым. Основная техническая работа была связана с настройкой окружений и автоматизацией доставки изменений.

Правда, довольно быстро выяснилось, что всё упирается в декомпозицию — умение правильно разделять большую задачу на небольшие части.

Допустим, нам нужно добавить новую механику на сайт. Она затрагивает фронтенд и бэкенд. Мы разбиваем её, например, на две задачи для бэкенда и три для фронтенда. В нашем случае ориентир — примерно 3–5 задач в рамках одной фичи. Такой объём проще разрабатывать и тестировать. Меньше затронутого кода, а значит, меньше проверок и зависимостей между ними. 

Но однажды мы умудрились объединить в одну фичу 30 задач. В итоге получили почти тот же старый скрам-релиз, только внутри нового процесса. Появились баги, проблемы с тестированием и со сроками. И если бы пришлось откатывать такую фичу, то возвращать предыдущую версию нужно было бы для довольно большого объёма кода. То есть можно перестроить процесс разработки, но продолжить создавать себе прежние проблемы, если неправильно разделять задачи.

Чтобы не наступать на те же грабли. Путь одной фичи: от тикета в «Джире» до деплоя

Представим, что маркетингу понадобилась новая механика на сайте. Раньше готовое изменение могло попасть в общий релиз и ждать остальных задач. Теперь путь до продакшена выглядит иначе.

Шаг № 1: разбиваем задачу. Определяем необходимый объём работ и создаём тикеты. Если изменения касаются и серверной части, и интерфейса, распределяем задачи между бэкендом и фронтендом.

Шаг № 2: создаём тестовое окружение. Для фичи поднимается отдельный стенд на основе актуальной версии приложения. Здесь разработчики реализуют функциональность, не затрагивая работающий продукт. За счёт таких окружений несколько команд могут работать параллельно. Если фичи не зависят друг от друга и не конфликтуют по коду, не нужно ждать завершения соседней задачи.

Шаг № 3: тестим. QA проверяет, соответствует ли функция требованиям, и проводит регрессионное тестирование. То есть убеждается, что изменения не сломали существующую функциональность.

Шаг № 4: выпускаем обновление. После успешного тестирования код объединяется с основной веткой. Запускаются автоматические проверки, а затем обновление доставляется в продакшен.

Вся разница с прежним подходом в том, что теперь отдельные готовые функции не накапливаются в общей релизной ветке. В итоге в отдельные дни количество релизов доходит до 20. Конечно, речь не обязательно о 20 больших новых функциях. Это может быть отдельное небольшое изменение или часть более крупного проекта. 

Маркетинг больше не ждёт две недели. Но теперь хочет всё к завтрашнему дню

Раньше со стороны бизнеса периодически возникал вполне понятный вопрос: почему так долго и дорого?

Допустим, маркетингу нужна новая механика, а разработчики уже закончили одну из её частей. Но раньше эти «штуки» приходилось ждать вместе с остальным релизом. Если другие задачи задерживались или возникали проблемы при тестировании, сроки тоже двигались.

А теперь можно разделить большой проект на несколько независимых частей и постепенно выпускать их в продакшен. Для бизнеса это означает, что не нужно ждать завершения всех работ, чтобы получить отдельную готовую функцию, а для разработчиков — что не приходится откатывать большой релиз из-за проблемы в одном его компоненте.

Но любая система не идеальна: когда люди видят, что команда быстро выпускает изменения, растут и ожидания.

Поэтому сейчас мы занимаемся уже следующей задачей — хотим научиться точнее планировать сроки. А ещё переход на частые релизы решил часть старых проблем, но одновременно сделал заметнее новые ограничения:

  • Инфраструктура. Когда под каждую фичу требуется отдельное окружение, важно, насколько быстро оно создаётся. На старте у нас были случаи, когда поднятие тестового стенда занимало 40 минут. Для процесса, в котором несколько команд параллельно работают над разными функциями, это ощутимая задержка.

  • Тестовые данные. Были кейсы, когда на тестовом окружении всё работало корректно, а на реальных данных после релиза возникали ошибки. Поэтому нужно обеспечивать тестовые окружения данными, максимально приближенными к продакшену. Конечно, с учётом требований безопасности: чувствительную информацию нужно маскировать или обезличивать.

  • Тестирование. При большом количестве релизов QA остаётся одним из главных узких мест. И здесь у нас тоже всё стандартно — есть релиз-менеджер, который всё контролирует. Автоматические проверки помогают, но полностью заменить ручное тестирование пока не получается. По нашему опыту, при таком темпе один тестировщик может приходиться примерно на двух разработчиков.

  • Планирование. Когда вместо одного большого релиза появляется много небольших, сложнее отслеживать общий прогресс и прогнозировать сроки.

Поэтому мы сейчас улучшаем воркфлоу. Хотим, чтобы статусы задач отражали реальное положение дел, а оценки времени помогали анализировать, сколько занимают разные виды работ. Возможно, для менеджеров это звучит как само собой разумеющееся. Но после перехода на другой процесс это будет означать, что нужно накопить данные, чтобы точнее оценивать будущие проекты. Если похожая работа раньше занимала конкретное время, этот опыт должен помогать при следующем планировании.

В идеале при очередном вопросе маркетологов «Когда будет готово?» мы сможем опираться не только на оценку разработчика, но и на статистику предыдущих задач.

В общем, я бы мог сказать, что после того, как мы пересобрали процесс, теперь отдыхаю и пью джус. Но нет, это меня жена сфоткала на законном отдыхе 

В общем, я бы мог сказать, что после того, как мы пересобрали процесс, теперь отдыхаю и пью джус. Но нет, это меня жена сфоткала на законном отдыхе 

----------------------------------------------------------------------------------------------------- 

Да, все проблемы разработки мы не решили. Но идём к этому — и, кажется, ещё долго будем искать, что можно улучшить. Нам нравится этот процесс — пробовать новые подходы и проверять их на практике. Если вам это тоже близко, заглядывайте на наш карьерный сайт.