Всем привет! Это третья часть серии статей о нагрузочном тестировании. Если вы еще не читали предыдущие части, рекомендую начать с них.
В первой мы разбирались, как правильно думать о тестировании производительности, а во второй — для чего оно вообще нужно и в каких сценариях без него не обойтись. В этой части разберем самые распространенные мифы о тестировании производительности и проанализируем ошибки, которые встречаются в проектах слишком часто и приводят к тому, что даже успешно протестированная система падает в проде.
Распространенные мифы о тестировании производительности

Немного разгрузим голову и поговорим о распространенных мифах о тестировании производительности. Зачем? На мой взгляд, мифы о тестировании производительности — это такая единица информации, которая способна негативно (если принимать их за чистую монету) влиять на принятые командой решения о том, как выстраивать процесс тестирования в целом и в некоторых аспектах в частности. Знание этих мифов позволит вам вовремя противостоять неверным решениям и включиться в процесс планирования, направляя его в правильное русло.
Представьте, что вы оказались на встрече, где обсуждается проект, к которому подключили вас, и на повестке стоит вопрос, нужно ли проводить нагрузочное тестирование. В ответ вы слышите следующий тезис: «Наша система mission/business‑critical, но нам НТ не нужно, у нас не такая высокая нагрузка». Кажется, такого не может быть: очевидно, что если система с высоким уровнем критичности, то обязательно нужно убедиться, что она справляется со своими задачами в рамках требуемых SLA по времени отклика и доступности и нужно обязательно проводить НТ, чтобы защититься от соответствующих рисков. Я тоже так думал! Но спустя 8 лет практики пришел к выводу, что если я так часто сталкиваюсь с этим вопросом и ответом на него слышу, что НТ не требуется, то ситуация, судя по всему, не такая уж очевидная. Этот пример знакомит нас с первым мифом.
Нагрузочное тестирование нужно только высоконагруженным системам
Возможно, это даже кажется логичным. Зачем тестировать интеграционную систему, которая обрабатывает 200 запросов в час?
Дело в том, что интенсивность поступления трафика в систему ничего не говорит о способности системы обрабатывать этот трафик, особенно когда от этой системы может зависеть критичный бизнес‑процесс, а сами операции редкие, но «тяжелые» с точки зрения алгоритмов обработки, структуры и объема данных. Решение о тестировании производительности должно приниматься исходя из критичности системы, а не из оценки того, много или мало операций обрабатывает система в единицу времени, потому что даже ненагруженная система может стать узким местом всего бизнес‑процесса.
НТ делается один раз перед релизом
В каких‑то случаях это может быть правдой, но в действительности решение о том, как часто требуется проводить тестирование производительности, следует принимать исходя из понимания, какой объем изменений, влияющих на производительность, и какую критичность функционала, который затрагивается этими изменениями, включает в себя версия приложения.
Если не проводить оценку изменений на предмет необходимости проводить НТ, вы неизбежно столкнетесь с ситуацией, когда каждое следующее изменение может приводить к деградации приложения — чем больше таких изменений, тем сложнее и дороже их локализовывать и исправлять. В такой ситуации тестирование перед релизом даст минимальный эффект и приведет к формированию большого техдолга.
Нам не нужно НТ, если что, добавим мощности
Горизонтальное масштабирование не приведет к улучшению производительности немасштабируемой системы. Простой пример: представьте процесс, состоящий из цепочки запросов R1→R2→R3→R4. В результате тестирования мы видим, что каждый запрос длится от 1 до 2 секунд, при этом весь путь обработки в рамках этого процесса приводит к latency до 8 секунд. Разбираясь в причинах длительности каждого запроса, можно обнаружить, что проблема в неработающих индексах, full table scan или сложной структуре post запроса. Подобные проблемы не решаются масштабированием, они требуют точечных оптимизаций или пересмотра архитектуры взаимодействия.
НТ защищает от рисков в production
К сожалению, это не так. НТ снижает риски, но не гарантирует их отсутствия. Степень возникновения рисков тем меньше, чем корректнее и комплекснее было проведено НТ, но каждая допущенная ошибка и неточность в процессе или прогнозе может привести к тому, что в prod будут найдены неисследованные проблемы. Нередки случаи, когда тестирование прогноза по нагрузке на систему приводит к обнаружению проблем, которые никогда не возникнут в prod, в НТ важна точность входных данных, отклонения от реального профиля будет неизбежно скрывать те проблемы, которые неизбежно возникнут на реальном профиле в prod. Это касается не только систем, которые будут введены в эксплуатацию, но и уже эксплуатируемых систем, если были совершены неточности при сборе профиля нагрузки на систему с prod или сформирован неверный прогноз. Также нужно учитывать, что учесть все невозможно и в prod могут случиться такие сценарии работы системы, которые невозможно было предсказать. Лучшие практики и выстроенные процессы помогут минимизировать такие риски, но не исключат их вовсе. Вопрос лишь в том, какой окажется регулярность и умножается ли вероятность наступления рисков на коэффициент допущенных ошибок в планировании, оценке и построении процесса тестирования.
Одни инструменты лучше других
У всех инструментов есть свои сильные и слабые стороны, а также занимаемая ниша. Если кажется, что JMeter устарел и лучше перейти на K6/Gatling, то, во‑первых, я вас поддерживаю. Но если говорить серьезно, то, во‑вторых, это не совсем так: нет смысла использовать K6/Gatling, когда вам нужно протестировать простые api с небольшим количеством запросов и нет необходимости эмулировать сложные коррелирующие процессы и преобразовывать данные в процессе. Выбирайте инструмент исходя из его сильных и слабых сторон и, самое главное, исходя из четких критериев выбора, справедливых для вашего продукта и процесса.
Ошибки, которые встречаются слишком часто
Если вы провели тестирование производительности, сформировали отчеты, проработали с командой дефекты, добились «зеленых» тестов, а в прод все упало, то, скорее всего, вы допустили одну или несколько ошибок, о которых я расскажу ниже. Если вы еще никогда не тестировали систему на предмет ее производительности, то обязательно почитайте этот материал и вооружитесь этими знаниями!
Нереалистичные сценарии тестирования производительности
Наверное, самая частая проблема, которую я встречаю при проведении аудита НТ, заключается в том, что в тесте используют: логин + happy‑path сценарии + одиночные api‑вызовы.
Вот факторы, о которых забывают:
фоновые процессы и периодические задачи;
отчеты, массовые операции и редкие, но «тяжелые» операции;
реальные паузы и перекрывающиеся действия пользователей;
операции, завершенные неуспешно, не прошедшие проверку, «упавшие» на каком‑то из этапов проверок, но утилизировавшие ресурсы системы (например, может оказаться, что в системе есть 10% условных заявок, которые «падают» в отказ по какой‑либо причине на промежуточном статусе);
интеграции, нагрузка из внешних источников.
При таком подходе тест ответит на вопрос, выдержит ли система этот конкретный сценарий, хотя в продакшене система живет в совсем другом режиме с другим профилем нагрузки. Соответственно, при реальной эксплуатации мы получим совершенно другие проблемы работы системы под нагрузкой, которые не могли быть выявлены в режиме работы с иным профилем.
Нагрузка без цели
«Дать побольше RPS» — не цель нагрузочного тестирования.
Без четкого ответа на вопросы:
что именно мы проверяем?
где ожидаем деградацию?
что считаем допустимым результатом?
Тесты с высокой вероятностью не приведут ни к каким осмысленным результатам.
Load‑test, stress‑test и capacity‑test решают разные задачи, но на практике часто запускается один и тот же сценарий «на максимум», а результаты интерпретируются постфактум. Если вы не можете сформулировать, на какой вопрос должен ответить тест, то, скорее всего, он бесполезен.
Определению целей тестирования производительности будет посвящена отдельная статья серии.
Недостаточно разнообразные данные
Даже корректный сценарий может дать ложную картину, если в тесте используются однотипные и повторяемые данные. Если функциональными особенностями системы не предусмотрена работа с однотипными данными, то будет ошибкой использовать в тестировании:
ограниченное количество пользователей;
одинаковые параметры запросов;
предсказуемую, строго детерминированную последовательность действий.
В такой конфигурации большая часть нагрузки теста начинает обслуживаться из кеша. Метрики радуют глаз и система стабильна, но в прод вы увидите совершенно иную картину:
растет количество уникальных пользователей;
увеличивается объем данных;
возрастает доля запросов, не попадающих в кеш;
воспроизводятся сценарии, которые не воспроизводились в тестовой среде за счет воспроизведения правил и условий, которые не были учтены из‑за недостаточного разнообразия данных в атрибутивном составе запросов.
Я не говорю, что нужно бездумно рандомизировать атрибутивный состав запросов. Представьте, что у нас есть бизнес‑процесс обработки заказов, для которого определены несколько путей обработки: заказ с доставкой (60% от общего числа заказов), заказ с самовывозом без оплаты (20%) и заказ с самовывозом с оплатой (20%). Для каждого из этих заказов справедливы свои наборы атрибутов и размеры товарных позиций, возможно, тоже с внутренним распределением (большие, средние, маленькие). При таких вводных делать 100% заказов с доставкой среднего размера (например, на 5 товарных позиций) будет серьезным допущением. Такой сценарий не покроет всю цепочку вызовов компонентов системы и сделает тестовое покрытие системы неполным, так как часть компонентов системы, которые участвуют в обработке заказов другого типа, останутся не задействованы.
Задача тестировщика — сформировать модель, которая может иметь ряд допущений и упрощений, но не игнорировать разнообразие и ветвление процессов вовсе.
Важности тестовых данных и тому, почему не стоит использовать статические данные в нагрузочных тестах, будет посвящен отдельный материал в рамках этой серии статей.
Детерминированные тесты в недетерминированной системе
Один из способов избежать ловушки псевдоположительных результатов тестов производительности — использовать стохастический форм‑ориентированный подход к нагрузочному тестированию.
Его суть:
нагрузка описывается не жестким сценарием, а набором форм (типов запросов);
параметры выбираются случайным образом, но с заданным ожидаемым распределением;
доля кешируемых и некешируемых данных моделируется так, чтобы приблизиться к доле кешируемых запросов в прод.
Вместо того, чтобы тестировать одни и те же сценарий тысячу раз, мы получаем вероятностную модель поведения системы.
Такой подход позволяет:
увидеть деградацию при росте уникальных данных;
проверить поведение при пробое кеша;
заранее обнаружить узкие места в БД и памяти.
Как реализуются вероятностные модели средствами нагрузочного тестирования, я расскажу позже в рамках этой серии статей.
Несоответствие стендов по топологии и параметрам
Даже идеальные сценарии и тщательно подготовленные тестовые данные не спасут, если тестовый стенд критически не похож на продакшен. Это одна из тех ошибок, которую особенно удобно не замечать или игнорировать умышленно, потому что приведение стенда к prod‑like‑состоянию стоит денег и времени — всегда есть соблазн решить «масштабировать результаты пропорционально».
Типичные расхождения:
меньшее количество нод;
другие лимиты CPU и RAM;
упрощенные сетевые взаимодействия;
иная конфигурация БД (shared_buffers, effective_cache_size, work_mem, maintenance_work_mem и так далее), расхождения параметров партиционирования и шардирования;
другие параметры приложения, например, настройки JVM, влияющие на производительность (‑Xss, ‑Xms, ‑Xmx, ‑XX:NewRatio);
игнорирование параметров GC, например, выбранного GC‑алгоритма и ‑XX:MaxGCPauseMillis;
игнорирование методов балансировки и параметров балансировщика.
Часто это оправдывают «пропорциональным масштабированием», но производительность распределенных систем нелинейна. Одно изменение топологии способно полностью поменять профиль нагрузки: то, что на одном инстансе упирается в CPU, на кластере из пяти может упереться в блокировки в общей БД или в сеть. В итоге тест отвечает на вопрос, который в реальной эксплуатации просто не возникает, и наоборот, скрывает проблемы, которые в prod обязательно проявятся.
Влиянию hardware‑ и software‑параметров стенда и приведению окружения к prod‑like‑состоянию будет посвящен отдельный материал в рамках этой серии статей.
Выводы о производительности исходя из среднего времени ответа и RPS
Среднее время ответа и RPS — самые популярные, но и самые обманчивые метрики. Они удобны тем, что их легко получить и легко показать в отчете одной цифрой, но именно поэтому на них так часто строят неверные выводы.
Без контекста и корреляции с другими метриками они маскируют:
рост ошибок под нагрузкой;
деградацию на краях распределения;
проблемы после пиковых значений и в динамике.
Нагрузочный тест без наблюдения за трендами и комплексом метрик — это оценка симптома, а не причины. В анализе опираться следует на распределения и перцентили (p50, p95, p99), error rate в динамике и системные метрики компонентов, а не на два усредненных числа.
Об этом поговорим подробнее в отдельной статье серии, посвященной метрикам и тому, как их интерпретировать.
Отсутствие реальной статистики и мониторинга бизнес‑процессов
Нагрузочные профили должны браться из реальной эксплуатации, но чаще всего они строятся на предположениях и допущениях:
«примерно столько пользователей»;
«в среднем так ходят»;
«обычно делают вот это».
Проблема в том, что без реальной статистики по бизнес‑процессам нагрузочный тест опирается не на факты, а на гипотезы. А любая ошибка в профиле, как мы уже обсуждали выше, либо порождает проблемы, которых в prod не будет, либо скрывает те, что обязательно проявятся.
Откуда брать факты: логи и метрики прода, статистика прикладного и инфраструктурного мониторинга, аналитика продуктовых событий, выгрузки из БД по распределению типов операций и их атрибутов. Если система новая и истории эксплуатации еще нет, профиль строится на основе бизнес‑прогноза аналогов, но это допущение должно быть явно зафиксировано как риск.
Тест без прогрева
Первые минуты прогона почти всегда показывают артефакты «холодной» системы, а не ее рабочее состояние:
пустые кеши приложения и БД;
JIT‑компилятор еще не оптимизировал горячие пути;
пулы соединений и потоков не наполнены до рабочего размера;
буферы и страницы БД не прогреты.
Если фаза прогрева попадает в итоговые метрики, картина искажается в худшую сторону, и вы рискуете чинить несуществующую проблему. Правильно закладывать в сценарий фазу warm‑up/ramp‑up, а ее результаты исключать из итоговых расчетов. Отдельно стоит держать в голове обратную ситуацию: если вас интересует именно холодный старт (поведение после рестарта или деплоя), прогрев нужно мерить осознанно и отдельно, а не вперемешку с основным прогоном.
Closed model вмесео open model и наоборот
Когда мы генерируем нагрузку, у нас есть два принципиально разных способа решить, в какой момент система получит следующий запрос.
В closed model мы фиксируем число виртуальных пользователей (VU). Каждый VU работает по циклу: отправил запрос, дождался ответа, подумал (think time), отправил следующий. Ключевое слово здесь — дождался. Пока система не ответила, этот VU новый запрос не шлет. Количество запросов «в полете» ограничено числом пользователей.
В open model мы задаем не число пользователей, а интенсивность прибытия запросов (arrival rate): например, 200 новых запросов в секунду. Запросы приходят по расписанию, заданному извне, и им безразлично, ответила ли система на предыдущие. Если система начала тормозить, новые запросы все равно продолжают поступать с той же интенсивностью, а необработанные накапливаются.
Разница в одном: кто управляет темпом подачи. В closed‑модели темп задает сама система через скорость своих ответов. В open‑модели темп задаете вы, и система на него не влияет.
Представим, что у нас 100 виртуальных пользователей в closed‑модели, и система отвечает в среднем за 100 мс. Грубо говоря, каждый пользователь успевает сделать около 10 запросов в секунду, и суммарно мы получаем порядка 1000 RPS.
Теперь система начинает деградировать, и время ответа вырастает до 1 секунды. Что произойдет с нагрузкой? Каждый VU теперь успевает сделать только 1 запрос в секунду, потому что он честно ждет каждого ответа. Суммарный поток падает до 100 RPS.
Вот в чем ловушка: генерируемая нагрузка упала ровно тогда, когда система начала деградировать. Closed‑модель понизила интенсивность подачи запросов именно в тот момент, когда система стала деградировать. Система получила «передышку», очередь не растет лавинообразно, метрики выглядят «тяжело, но стабильно». А в проде в этот же момент реальные пользователи никуда не делись и продолжили слать запросы, добивая систему.
В open‑модели картина обратная. Мы задали 1000 запросов в секунду, и они приходят независимо от того, что система замедлилась. Необработанные запросы накапливаются, очередь растет, latency взлетает, появляются таймауты и ошибки. Тест честно показывает: при такой интенсивности система разваливается. Именно это и произойдет в реальной эксплуатации.
О том, когда и какую модель нагрузки использовать и как ее реализовать программно средствами тестирования, поговорим в практических уроках в рамках этой серии статей.
Выводы по одному прогону
Одного теста недостаточно! На результаты, особенно если вы тестируете систему в препрод и делите стенд с другими командами, могут влиять фоновые задачи ОС, состояние кешей, сборки мусора, интеграции, сетевые флуктуации. Делать выводы о состоянии системы по одному тесту некорректно, их нужно подтвердить хотя бы 2 раза.
Чтобы выводы были надежными:
прогон повторяется несколько раз, оценивается разброс результата, а не одно число;
сравниваются распределения и перцентили, а не средние двух запусков;
фиксируются и протоколируются условия теста, чтобы прогоны были сопоставимы;
проверяется воспроизводимость найденного эффекта при тех же условиях.
Воспроизводимость — это то, что отличает измерение от случайного наблюдения и критически важно в тестировании производительности. Если результат не воспроизводится, это еще не результат, а наблюдение, которое нужно проверить. Я уверен, вы бы не хотели потратить ресурсы и время на анализ и оптимизацию проблемы, которая воспроизвелась 1 раз при невероятном стечении обстоятельств и больше никогда не дала о себе знать.
Мы разобрались, как правильно думать о тестировании производительности, для чего оно вообще нужно бизнесу, и разобрали самые распространенные мифы и типичные ошибки, которые встречаются в проектах чаще всего.
Если вы пропустили предыдущие материалы серии, почитайте первую часть (о том, как правильно думать о тестировании производительности) и вторую часть (о том, для чего оно вообще нужно бизнесу).
Спасибо, что дочитали до конца. До встречи в следующих статьях!

Комментарии 0