
Мониторинг снова зелёный🟢. Автоматическое переключение заняло несколько секунд. Узел, на который переключили приложение, принимает соединения, новые запросы выполняются без ошибок. Кажется, можно выдохнуть…
Но у пользователя, нажавшего кнопку до сбоя, на экране сообщение: «Не удалось получить ответ. Попробуйте ещё раз». Что произойдет после нового нажатия — сервис распознает повтор или выполнит операцию заново?
База снова отвечает. Но можно ли безопасно продолжить работу? Возобновление обслуживания само по себе не доказывает, что восстановление завершено. Нужно проверить, выполняет ли сервис заранее определённые требования к прикладным операциям, сохранности данных и защите от следующих отказов.
Запрос и подтверждение
База могла сохранить изменения, а соединение оборвалось до доставки подтверждения приложению. Но могло случиться иначе: запрос вообще не дошёл до базы. В обоих случаях приложение может показать одно и то же сообщение об ошибке, по которому нельзя установить, выполнилось ли действие.
При этом пользователь не обязан задумываться о причинах ошибки: он может просто нажать кнопку ещё раз. Задача разработчиков сервиса — заранее определить, как обрабатывать такую ситуацию: допустимо ли выполнить действие заново или нужно сначала выяснить результат предыдущего обращения?
Сравним сервис сбора показаний датчиков температуры и сервис продажи билетов. В первом случае измерения поступают каждую секунду, используются для графика, а пропуск отдельной точки допустим. После восстановления связи датчик может продолжить передавать новые показания.
Во втором случае пользователь оплачивает билет, но не получает ответа. Если списание уже произошло, повторная попытка может списать деньги во второй раз, если не произошло — отказ от повтора оставит билет неоплаченным. Здесь сервис должен предусмотреть выяснение результата платежа или обработку повторного обращения без второго списания.
Критерии восстановления у этих систем различаются. Сервис телеметрии в нашем примере может продолжить обслуживание, не восстанавливая каждое пропущенное измерение. Платёжному сервису нужно обеспечить корректную обработку операций, на которые клиент не получил ответа.
Требования должны определять не только то, какие функции снова доступны, но и то, какие последствия сбоя допустимы.
Подтверждение есть — записи нет
Рассмотрим ситуацию, когда пользователь получил подтверждение, но после переключения результат операции недоступен. В качестве примера используем сервис бронирования мест в самолёте. По его правилам подтверждённое бронирование сохраняет место за клиентом, пока тот не отменит бронь.
Ирина забронировала место в самолёте и получила подтверждение. Основной узел базы сохранил запись, но стал недоступен раньше, чем изменения успели попасть на реплику. Автоматика переключила приложение на эту реплику. Новые бронирования создаются, но бронирования Ирины на новом основном узле нет.
Такое возможно при асинхронной репликации: основной узел может подтвердить запись, не дожидаясь, пока её получит реплика. Если основной узел станет недоступен до передачи изменений, а автоматика выберет эту реплику новым основным узлом, последних записей на ней не будет.
Для системы, допускающей потерю последних изменений при отказе основного узла, такой результат может быть приемлемым. Но здесь требования другие: сервис обещал сохранить место за Ириной, переключение на отставшую асинхронную реплику этого обещания не обеспечило. Успешное создание новых бронирований не исправляет несоответствие между требованиями сервиса и выбранной конфигурацией.
При этом запись не обязательно исчезла безвозвратно: она может оставаться на прежнем, пока недоступном узле. Мы установили недоступность подтверждённого бронирования, а не окончательную потерю данных.
При синхронной репликации основной узел ожидает ответ от выбранных реплик, прежде чем сообщить клиенту об успехе: реплика должна подтвердить сохранения изменений на её устойчивом носителе. Если сервис сообщает об успешном бронировании после такого подтверждения, запись Ирины должна присутствовать и на новом основном узле.
У этого подхода есть цена: ответ клиенту приходится задерживать до получения требуемых подтверждений от реплик. Если получить их невозможно, система не может продолжать подтверждать записи по прежним правилам. Операции будут ожидать подтверждения, либо запись придётся временно ограничить.
Реплика стала основным узлом. Что дальше?
После переключения нужно выяснить, какие операции снова доступны и выполняются ли требования сервиса. Для этого используют автоматические проверки, результаты которых собирает система мониторинга. При необходимости инженеры дополнительно проверяют работу приложения и состояние данных. Однако каждая успешная проверка подтверждает только проверенное свойство системы в тех условиях, в которых она проводилась.
Рассмотрим три примера автоматических проверок.
К базе можно подключиться. Проверка устанавливает соединение и проходит аутентификацию. Это подтверждает доступность базы по проверенному адресу с выбранными учётными данными. Сохранность бронирований такая проверка не устанавливает.
База выполняет простой запрос. Например, проверка читает заранее подготовленную тестовую запись и получает ожидаемый результат. Но она не обращается к данным бронирований и не проверяет возможность их изменения.
Операция выполняется через приложение. Проверка создаёт тестовое бронирование и получает его по идентификатору. Так проверяется путь от обращения к приложению до сохранения и чтения результата. Но успех новой операции ещё не подтверждает сохранность прежних, также он не показывает, справится ли сервис с рабочей нагрузкой.
У каждой проверки есть границы: если соединение установлено, это не означает, что приложение может создать бронирование, а успешное создание нового бронирования не подтверждает сохранность записей, сделанных до сбоя.
Результаты проверок вместе с метриками и событиями системы помогают автоматике оценить ситуацию и выбрать следующее действие. Эту логику удобно описывать моделью MAPE‑K, предложенной IBM в рамках autonomic computing — подхода к созданию самоуправляемых вычислительных систем. Она объединяет четыре функции управления и используемые ими знания:
Monitor — наблюдение: какие сигналы поступили от узлов и приложения?
Analyze — анализ: на какую проблему они указывают?
Plan — планирование: какое действие следует выполнить?
Execute — выполнение: как осуществить выбранное действие?
Knowledge — знания: сведения о топологии, требованиях и правилах, которыми пользуются остальные части цикла.
Например, контроллер обнаруживает отсутствие ответов от основного узла, оценивает ситуацию, выбирает реплику и запускает переключение. Затем получает новые наблюдения: новый основной узел принимает соединения. Эти сведения помогают оценить результат вмешательства и выбрать следующий шаг.
Но если в наблюдениях нет сведений о бронировании Ирины, успешное подключение не покажет, сохранилось ли оно. Модель MAPE‑K описывает организацию управления; полнота оценки зависит от сигналов, знаний и критериев, заложенных в конкретную систему. Сообщение «переключение выполнено» подтверждает завершение действия, а не выполнение всех требований сервиса.
База в порядке. А что произошло во время переключения?
Приложение снова позволяет выбрать место, создать бронирование и получить его по идентификатору. В текущей базе на каждое место приходится не более одного действующего бронирования. Всё выглядит нормально.
Но поскольку бронирования Ирины на новом узле не было, её место отображалось свободным. Его выбрал Василий и тоже получил подтверждение.
Когда прежний узел стал доступен, инженеры обнаружили расхождение: на нём сохранилось бронирование Ирины, а на новом основном узле — бронирование Василия. Ни один из клиентов свою бронь не отменял. Теперь недостаточно выбрать, какую запись оставить: сервис пообещал одно место двум людям. Если исправить только базу, оба могут приехать в аэропорт с подтверждением одного места на один рейс.
В нашем примере автоматика переключения не решает этот конфликт. Инженеры сверяют историю операций и восстанавливают корректные данные, сохраняя место за Ириной. Сотрудники поддержки связываются с Василием, объясняют ситуацию и согласуют доступное решение: другое место, другой рейс или возврат оплаты. Затем сервис должен выполнить согласованное решение. Эти действия тоже могут быть частично автоматизированы.
По одной оставшейся записи подобную историю не восстановить: нужны сведения о запросах пользователей, ответах, которые приложение им показало, и порядке событий. Для технического разбора могут потребоваться также журналы приложения и базы. Поэтому текущее состояние данных и соблюдение требований во время переключения нужно оценивать отдельно.
Обслуживание под нагрузкой
Вернёмся к телеметрии. Сервис снова принимает показания, проверочную запись удалось прочитать через приложение. Если устройства сохраняли измерения во время сбоя, после восстановления связи они могут начать отправлять накопленные данные вместе с новыми.
Если данные поступают быстрее, чем система их обрабатывает, очередь продолжит расти, хотя отдельные запросы выполняются успешно. Инженерам и автоматике нужно отслеживать, сокращается ли отставание при рабочей нагрузке, укладываются ли задержки в допустимые пределы и не растёт ли число ошибок. Продолжительность проверки зависит от характера проблемы и требований сервиса.
С продажей билетов ситуация похожая: после восстановления связи пользователи одновременно возвращаются к оформлению заказов и повторяют обращения, оставшиеся без ответа. Успешное оформление одного заказа не показывает, что остальные обрабатываются с допустимой задержкой. Нужно оценить обслуживание всего поступающего потока.
Есть и вопрос резервирования. Если основной узел отказал, а единственная реплика заняла его место, обслуживание может возобновиться, но готового узла для следующего переключения теперь нет. Нужно вернуть прежний узел в качестве реплики или создать новую — автоматически либо силами инженеров.
На создание реплики расходуются ресурсы сети, диска и процессора: необходимо передать данные и обработать изменения, накопившиеся за время копирования, это может замедлять пользовательские запросы. Возвращение обслуживания, устранение отставания и восстановление резервных узлов могут завершаться в разное время. Все эти действия меняют нагрузку и состояние системы.
Может ли восстановление усугубить сбой?
До сих пор мы обсуждали, как проверить, вернулась ли система к выполнению требований сервиса. Но сами восстановительные действия тоже требуют внимания: они могут распространить исходную проблему или даже усилить её.
Когда перенос задач распространяет отказ
Риски восстановительных процедур изучают исследователи надёжности распределённых систем. В работе Pilot Execution, представленной на NSDI 2026, авторы проанализировали 75 отобранных случаев сбоев восстановления в восьми распределённых системах.
Один из описанных инцидентов произошёл в HBase — распределённой базе данных: сервер аварийно завершился при обработке повреждённого журнала предзаписи — WAL, используемого для восстановления изменений после отказа. Чтобы возобновить обслуживание, система передала задачи отказавшего сервера другим серверам кластера.
Но перенос работы не устранил повреждение журнала — другие серверы обращались к тому же файлу и сталкивались с той же ошибкой, которая приводила к их аварийному завершению. Последующие попытки перераспределить работу повторяли этот сценарий, пока отказ не охватил кластер. Чтобы выявлять такие риски заранее, авторы предложили специальное пробное выполнение — pilot execution, позволяющее обнаружить некоторые опасные последствия восстановительных действий до их применения.
Общий вывод важен и за пределами этого подхода: наличие резервных узлов ещё не означает, что перенос работы на них устранит причину отказа.
Когда повторные запросы мешают восстановлению
Если приложение не получило ответ, оно может автоматически отправить запрос ещё раз. Это помогает пережить кратковременный разрыв связи или временную недоступность сервера: к следующей попытке проблема уже может исчезнуть. Но при перегрузке тот же механизм способен ухудшить ситуацию.
Представим, что база замедлилась. Приложения не дождались ответов и повторили запросы. Первоначальные обращения при этом могли ещё выполняться: тайм‑аут у клиента сам по себе не означает, что работа на сервере остановлена. Теперь к ещё выполняющимся обращениям добавляются повторные. Задержки растут, приложения снова не дожидаются ответов и отправляют новые запросы. Такой механизм называют штормом повторных запросов, или retry storm. Даже после устранения исходной проблемы дополнительная нагрузка может мешать восстановлению.
В Amazon Builders’ Library этот риск разбирается вместе со способами его ограничения. Число повторных попыток и их частоту ограничивают, интервалы между ними увеличивают, а случайная составляющая задержки — jitter — помогает распределить обращения во времени.
Если после переключения сервису стало хуже, нельзя заключить, что виновато переключение: новые ошибки могли быть продолжением исходного отказа, следствием дополнительной нагрузки или результатом самого вмешательства. Чтобы различить эти варианты, нужно сопоставить последовательность действий, состояние узлов и поведение запросов.
Когда считать восстановление завершённым?
Успешный запрос показывает, что база отвечает. Чтобы оценить результат восстановления, нужно в первую очередь проверить:
операции и данные: пользовательские действия выполняются, подтверждённые результаты доступны, обращения, оставшиеся без ответа, обрабатываются по предусмотренным правилам.
нагрузку и резервирование: задержки и число ошибок укладываются в допустимые пределы, необходимый резерв восстановлен.
последствия сбоя: известные нарушения зафиксированы, спорные операции и невыполненные обязательства учтены.
Разбор спорных операций и выполнение обязательств перед клиентами могут продолжаться и после возвращения сервиса к штатной работе. Возобновление обслуживания само по себе этих задач не решает.
Восстановление завершено, когда сервис снова выполняет заранее определённые требования. Если часть требований ещё не выполнена или данных для проверки недостаточно, нужно прямо указать, что восстановлено, какие ограничения остаются и что ещё предстоит
выяснить.
Даже после выполнения технических требований может продолжаться разбор спорных операций и выполнение обязательств перед клиентами. Последствия сбоя нужно учитывать отдельно: возобновление обслуживания само по себе их не устраняет.
Восстановление завершено, когда сервис снова выполняет заранее определённые требования. Если часть требований ещё не выполнена или данных для проверки недостаточно, нужно прямо указать, что восстановлено, какие ограничения остаются и что ещё предстоит выяснить.

Комментарии 0