Продолжаем рубрику «Лучшие практики SpaceVM 6.5.9». В прошлых публикациях мы разобрали настройку сети после установки платформы и развертывание виртуального контроллера. Теперь разберём построение отказоустойчивого кластера.
Схема инфраструктуры для построения отказоустойчивого кластера
Построение надежного и отказоустойчивого кластера платформы виртуализации начинается на этапе проектирования физической инфраструктуры узлов, СХД и сетевого оборудования. Основными целями отказоустойчивости являются:
Минимизация простоев.
Сохранность данных.
Быстрое восстановление.
Предотвращение единичных точек отказа.
Эти цели достигаются подготовкой физической инфраструктуры и использованием реализованных в SpaceVM инструментов.
Внимание
Категорически не рекомендуется использование HDD-дисков для разделяемого хранилища GFS2. GFS2 создаёт высокую нагрузку при записи служебных данных (журналирование, метаданные, блокировки DLM для восстановлений при сбоях). HDD-диски очень медленно выполняют подобные операции из-за высоких задержек, что приводит к резкому падению производительности.
Для корректной работы хранилища GFS2 и поддерживания высокой производительности необходимо использовать твердотельные накопители (SSD).
Для предотвращения аварийных ситуаций, связанных с питанием кластера, необходимо обеспечить две линии подачи питания к узлам через разные источники бесперебойного питания.
При построении отказоустойчивого кластера SpaceVM рекомендуется создавать изолированные сети для разных типов трафика:
Встроенная сеть управления mgmt — для администрирования и мониторинга кластера.
Кластерный транспорт GFS2 — для обеспечения работы файловой системы и синхронизации данных между узлами кластера.
Сеть для переноса виртуальных машин (ВМ) и копирования дисков — для операций, связанных с миграцией ВМ и управлением данными.
Сеть СХД (iSCSI) — для подключения к внешней системе хранения данных через протокол iSCSI.
Сеть ВМ — для трафика, генерируемого виртуальными машинами.
Сеть BACKUP (NFS) — для создания и хранения резервных копий ВМ.
Представленная сегментация сетей позволяет повысить надёжность и производительность кластера, а также обеспечить безопасность данных.
Для всех сетей рекомендуется дублирование коммутаторов, чтобы обеспечить бесперебойную работу в случае отказов оборудования или потери связности каналов. Для сетей внутри SpaceVM (mgmt, перенос ВМ и дисков, кластерный транспорт GFS2) дублирование должно выполняться с использованием агрегированных интерфейсов типа Active-Backup средствами SpaceVM.
Для сетей СХД рекомендуется использование технологии Multipath.
Для уменьшения возросшей нагрузки по переносу ВМ на другие узлы в случае отказа одного из узлов рекомендуется равномерно распределить ресурсы в кластере при помощи DRS.
Рекомендованная схема инфраструктуры
Примечание
IP-адреса, подсети, номера VLAN и наименования интерфейсов на схеме являются примерами. Необходимо производить настройку в соответствии с существующей инфраструктурой.
Созданный отказоустойчивый кластер состоит из 5 узлов, 2 из которых имеют тип установки Controller+Node. Каждый физический сервер оснащен:
Двумя блоками питания для подключения питания от разных источников бесперебойного питания.
4x10G Ethernet или 2x10G FibreChannel и 2x10G Ethernet сетевой картой для подключения внешней СХД.
4x1G Ethernet картой для mgmt сетей и сетей ВМ.
2x1G Ethernet картой для сетей кластерного транспорта.
RAID-контроллером для установки ПО на RAID 1 том.
Рекомендованная схема инфраструктуры
Рекомендованная схема инфраструктуры
Ограничения
В кластере SpaceVM рекомендуется использование режима Active-Backup на интерфейсах, агрегированных средствами SpaceVM.
Потеря сетевого соединения между серверами и хранилищем в процессе записи данных может привести к повреждению файловой системы. Чтобы минимизировать любые разрывы, не рекомендуется использование механизмов LACP/LAGG на уровне коммутаторов, поскольку это может вызывать конфликты в работе кластерного транспорта GFS2 или повредить данные, передаваемые по протоколу iSCSI.
Совместная работа коммутаторов в режиме стекирования и агрегации каналов (LACP) способна вызвать одновременный выход из строя обоих устройств.
При независимой друг от друга работе коммутаторов перезагрузка одного устройства не может привести к перезагрузке второго устройства. В таком сценарии отказа одного из коммутаторов автоматически активировался бы запасной канал, обеспечивая непрерывность сетевого подключения.
Использование протокола LACP способно нарушить последовательность доставки пакетов iSCSI, что может привести к ошибкам записи и возможному повреждению данных.
Примечание
При этом SpaceVM поддерживает режим агрегации LACP. Если нужно добиться высокой пропускной способности путем объединения каналов, и не требуется безусловная отказоустойчивость на уровне сети (например, для трафика ВМ или трафика переноса дисков и ВМ в выделенной сети), то возможно использование такого варианта на выделенном для этого коммутаторе или стеке коммутаторов.
Подготовка сетевой инфраструктуры
При настройке сетевой инфрастуктуры важно устранить единичные точки отказа в виде непродублированных коммутаторов и неагрегированных интерфейсов. При этом использование механизмов LACP/LAGG на уровне коммутаторов не рекомендуется, поскольку это может вызывать конфликты в работе кластерного транспорта GFS2.
Примечание
Все IP-адреса, подсети, номера VLAN и наименования интерфейсов являются примерами. Необходимо производить настройку в соответствии с инфраструктурой.
Настройка bond для mgmt-сетей
Для настройки агрегированных интерфейсов для сети управления необходимо поочередно выполнить в CLI каждого узла следующие команды:
net conf ports set-default-bond -n bond_mgmt -i {имя интерфейса 1} {имя интерфейса 2} -m active-backup -l off
net conf vlan set -i bond_mgmt -m trunk
Настройка внешней сети iSCSI
Примечание
При использовании протокола FC для подключения внешней СХД настройка отдельной внешней сети не требуется.
В случае, если для подключения внешней СХД используется протокол iSCSI, то необходимо:
Создать на контроллере внешнюю сеть iSCSI для подключения кластерного хранилища с указанием подсети 10.0.20.0/24 и агрегированного интерфейса.
Перейти в Web-интерфейс SpaceVM в раздел основного меню Сети - Внешние сети.
Нажать кнопку Создать.
На первом этапе создания сети указать название сети iSCSI и адрес 10.0.20.0/24.
На втором этапе создания сети поочередно добавить необходимые серверы, а также добавить каждому из них агрегированный интерфейс.
Второй этап создания сети iSCSI
На третьем этапе настроить VLAN, MTU, а также при необходимости настроить резервирование адресов.
На четвертом этапе проверить корректность параметров создаваемой сети и нажать кнопку ОК.
Создать для каждого сервера внутренний интерфейс во внешней сети iSCSI.
Перейти в раздел Подключённые серверы в окне подробного просмотра созданной сети iSCSI.
Поочередно выбрать каждый сервер и добавить внутренний интерфейс с помощью кнопки
Окно создания внутреннего интерфейса сети iSCSI
Созданная сеть iSCSI
Настройка внешней сети для кластерного транспорта GFS2
По аналогии с инструкцией по настройке внешней сети iSCSI необходимо создать на контроллере внешнюю сеть GFS2 для кластерного транспорта с указанием подсети 10.0.18.0/24 и агрегированного интерфейса.
Примечание
Использование механизмов LACP/LAGG на уровне коммутаторов не рекомендуется, поскольку это может вызывать конфликты в работе кластерного транспорта GFS2.
Настройка внешней сети для подключения NFS-хранилища резервных копий
По аналогии с инструкцией по настройке внешней сети iSCSI необходимо создать на контроллере внешнюю сеть BACKUP для подключения NFS-хранилища с указанием подсети 10.0.17.0/24 и агрегированного интерфейса.
Настройка внешней и внутренней сети для трафика ВМ
По аналогии с инструкцией по настройке внешней сети iSCSI необходимо создать на контроллере внешнюю сеть VMs для трафика ВМ с указанием подсети 10.0.16.0/24 и агрегированного интерфейса.
Важным аспектом обеспечения отказоустойчивости кластера является использование разделяемого хранилища GFS2, которое базируется на внешней СХД, подключенной по протоколам iSCSI или FC. Для устранения единичной точки отказа в подключении СХД рекомендуется дублирование коммутаторов и использование технологии Multipath.
Подключение блочного хранилища
С использованием iSCSI
Для создания блочного хранилища iSCSI необходимо перейти в раздел Хранилища - Сетевые хранилища - Блочные основного меню и нажать кнопку Добавить хранилище.
В открывшемся окне необходимо выполнить следующие действия:
Указать название сетевого хранилища.
Включить опцию Multipath I/O.
Определить возможность подключения узлов сети хранения данных с использованием нескольких маршрутов (состояние Multipath I/O).
Примечание
С версии SpaceVM 6.5.7 опция Multipath I/O отсутствует в окне создания блочного хранилища. Включение технологии Multipath будет происходить автоматически на основе подключаемой СХД.
Выбрать режим использования Multipath I/O - failover.
При подключении узлов будет проверяться наличие хотя бы одного активного пути из всех.
Выбрать тип подключения.
Выбрать локацию.
Выбрать сервер для монтирования сразу после создания.
Добавить IP-адрес или доменное имя сервера хранения и порт.
Если указать несколько адресов, то в окне Опции необходимо указать, к какому адресу относится каждый таргет.
Проверить доступность сервера и получить список доступных таргетов с помощью кнопки Получить доступные таргеты (target).
Указать имя iSCSI Target.
Указать логин и пароль для подключения (если требуется).
Выбрать производителя.
Выполнить настройку в окне Опции.
После нажатия кнопки Опции в открывшемся окне нужно выполнить действия:
Выбрать таргет.
Выбрать адрес (ip-адрес/доменное имя), относящийся к выбранному таргету.
С помощью кнопки
добавить еще таргет и его адрес (если это необходимо). Чтобы удалить путь к сетевому хранилищу (убрать пару Таргет – Адрес), нужно нажать на кнопку
После заполнения полей подтвердить действия с помощью кнопки Сохранить.
Добавить описание хранилища.
Необязательное поле.
Для подтверждения операции необходимо нажать кнопку ОК.
С использованием FC
При физическом подключении блочного хранилища по FC к серверу контроллер выдаст предупреждение серверу о том, что есть неизвестные блочные хранилища.
Если есть предупреждение, то необходимо перейти в раздел Серверы - <Имя сервера> - Хранилища – Блочные хранилища и нажать кнопку Сканировать. Если на сервере найдутся незарегистрированные в базе контроллера хранилища, то они создадутся в базе или обновится связь с теми, что есть в базе.
Примечание
В некоторых случаях (например, этого требуют FCoE адаптеры HPE630FLB) для включения FC функционала на адаптерах необходимо перейти в CLI узлов и выполнить команду CLI net fcoe enable {имя адаптера}.
Настройки multipath
Для просмотра настроек multipath в CLI узла необходимо выполнить команду:
storage multipath-conf
Внимание
Если для нужного устройства нет предустановленного файла конфигурации, необходимо найти его у производителя СХД и добавить вручную через CLI с помощью команд:
Для обеспечения отказоустойчивости рекомендуется использоватьpath_grouping_policy = failover.
Варианты path_grouping_policy
failover — один путь для каждой группы приоритетов.
multibus — все пути в одной группе приоритетов.
group_by_serial — одна группа приоритетов для каждого серийного номера.
group_by_prio — одна группа приоритетов для каждого значения приоритета. Приоритеты путей определяются при помощи программ callout, которые передают значения приоритетов, указанных в соответствующих секциях (глобальной, для определенных контроллеров хранения, для определенных путей) конфигурационного файла.
group_by_node_name — одна группа приоритетов для каждого имени целевого узла. Имена целевых узлов читаются из /sys/class/fc_transport/target*/node_name.
Для изменения политики выбора путей LUN в CLI используется команда:
Рекомендуется использовать path_selector = service-time 0.
Варианты path_selector
service-time 0 — отправляет следующую часть операций I/O по пути с наименьшим расчетным временем обслуживания, которое определяется делением общего объема ожидающих операций I/O для каждого пути на его относительную пропускную способность.
round-robin 0 — поочередно перебирает все пути в группе, отправляя одинаковый объем операций I/O на каждый путь.
queue-length 0 — выбирает путь для следующей части операций I/O на основе количества ожидающих операций I/O на этом пути.
Создание пула данных GFS2
Самостоятельное создание КТ и пула данных GFS2
Для создания кластерного транспорта необходимо:
Перейти в раздел основного меню Хранилища - Кластерные хранилища - Кластерные транспорты.
Нажать кнопку Создать.
Выполнить действия:
Указать название.
Указать описание (опционально).
Выбрать кластер.
Выбрать тип.
Необходимо указать тип файловой системы gfs2.
Внимание
Для кластерного транспорта необходимо активировать опцию Выбрать внешнюю сеть и указать созданную ранее внешнюю сеть GFS2.
После создания кластерного транспорта необходимо создать пул данных GFS2. Для этого необходимо:
Перейти в раздел основного меню Хранилища - Пулы данных и нажать кнопку Добавить пул.
В открывшемся окне выполнить действия:
Выбрать тип пула.
Установить значение: gfs2.
Выбрать кластер.
Выбрать пул ресурсов.
Кластерный транспорт.
Будет выбран автоматически.
Указать название пула данных.
Выбрать LUNs.
Необходимо выбрать LUN ранее подключенного Блочного хранилища. Пул данных будет создан на выбранном LUN.
Допускается использование только LUN с файловой системой GFS2. Если тип ФС иной, то необходимо отформатировать LUN в ФС GFS2 самостоятельно.
Указать название каталога.
Название каталога для пула данных.
Указать описание пула.
Необязательное поле.
Форматировать LUN.
При активной опции Форматировать LUN выбранный LUN будет отформатирован в файловую систему GFS2.
Если опция Форматировать LUN не активна, на диске обнаружена ФС GFS2 и на данном LUN обнаружены ранее созданные пулы данных, то все найденные пулы будут также добавлены в список пулов данных.
Внимание
Форматирование LUN удалит все данные на нем.
Режим отладки.
Включение отладочного режима для диагностики GFS2.
Опция доступна только в ситуации, когда LUN не примонтирован.
Внимание
Во время монтирования можно включить режим отладки, который предотвратит перезагрузку узла при возникновении ошибок с файловой системой GFS2.
Не рекомендуется включать этот режим на рабочих кластерах, так как это может привести к потере данных.
Нажать кнопку ОК.
Создание КТ и пула данных GFS2 из единого интерфейса
Единый интерфейс создания КТ и пула данных GFS2 доступен с версии SpaceVM 6.5.4 и выше.
Для создания кластерного транспорта и пула данных GFS2 из единого интерфейса необходимо:
Перейти в раздел Хранилища - Пулы данных.
Нажать кнопку Добавить пул.
В открывшемся окне выполнить действия:
Выбрать тип пула.
Установить значение: gfs2.
Выбрать кластер.
Выбрать пул ресурсов.
Указать название кластерного транспорта.
Если на выбранном кластере нет КТ типа GFS2, то он будет создан. Возможно указание названия для нового КТ. При оставлении поля пустым название будет задано автоматически.
Указать название пула данных.
Выбрать LUN.
Необходимо выбрать LUN ранее подключенного Блочного хранилища. Пул данных будет создан на выбранном LUN.
Допускается использование только LUN с файловой системой GFS2. Если тип ФС иной, то необходимо отформатировать LUN в ФС GFS2 самостоятельно.
Указать название каталога.
Название каталога для пула данных.
Указать описание пула.
Необязательное поле.
Выбрать внешнюю сеть.
Необходимо выбрать ранее созданную внешнюю сеть GFS2.
Форматировать LUN.
При активной опции Форматировать LUN выбранный LUN будет отформатирован в файловую систему GFS2.
Если опция Форматировать LUN не активна, на диске обнаружена ФС GFS2 и на данном LUN обнаружены ранее созданные пулы данных, то все найденные пулы будут также добавлены в список пулов данных.
Внимание
Форматирование LUN удалит все данные на нем.
Режим отладки.
Включение отладочного режима для диагностики GFS2.
Опция доступна только в ситуации, когда LUN не примонтирован.
Внимание
Во время монтирования можно включить режим отладки, который предотвратит перезагрузку узла при возникновении ошибок с файловой системой GFS2.
Не рекомендуется включать этот режим на рабочих кластерах, так как это может привести к потере данных.
Нажать кнопку ОК.
Подключение NFS хранилища для резервных копий
Подключение файлового хранилища
Для хранения резервных копий будет создан отдельный пул данных, расположенный на NFS-хранилище. Для подключения хранилища необходимо перейти в раздел Хранилища - Сетевые хранилища - Файловые основного меню и нажать кнопку Добавить хранилище. В открывшемся окне необходимо выполнить следующие действия:
Указать название сетевого хранилища.
Выбрать тип подключения.
Установить значение: nfs.
Выбрать локацию.
Выбрать все серверы для монтирования сразу после создания.
Указать IP-адрес или доменное имя СХД.
Проверить доступность сервера с помощью кнопки Проверить соединение и получить доступные тома (volumes).
Указать каталог на сетевом хранилище (volume).
Указать каталог монтирования в SpaceVM (mount_point, имя конечной директории для монитирования).
Убедиться, что опция Только чтение выключена.
Включить опцию No_root_squash, если на сервере включена опция No_root_squash (для NFS).
Включить опцию All_squash, если на сервере включена опция All_squash (для NFS).
Раскрыть опции монтирования, нажав кнопку Опции монтирования nfs, и заполнить параметры для NFS.
Параметры для NFS
Выбрать sec.
Может принимать значения: none, sys, krb5, krb5i, krb5p.
Выбрать lookupcache.
Может принимать значения: all, none, pos, positive.
После внесения изменений необходимо подтвердить операцию, нажав кнопку ОК.
Создание пула данных NFS
Для создания пула данных NFS необходимо:
Перейти в раздел Хранилища - Пулы данных основного меню.
Нажать кнопку Добавить пул.
В открывшемся окне выполнить действия:
Выбрать тип пула.
Установить значение: nfs.
Выбрать пул ресурсов.
Указать название пула.
Выбрать сетевое хранилище.
Необходимо выбрать ранее созданное файловое NFS-хранилище.
Указать название каталога.
Название каталога для пула данных.
Указать описание пула.
Необязательное поле.
Нажать кнопку ОК.
Настройка репликации, резервных копий и высокой доступности
При построении отказоустойчивого кластера рекомендуется составить план, включающий:
Распределение запускаемых ВМ по приоритету и допускаемому времени простоя.
Выбранную стратегию обеспечения отказоустойчивости ВМ на основе приоритета.
Например, репликация, резервное копирование или высокая доступность.
Расписание выполнения запланированных задач, чтобы избежать одновременного выполнения.
Для обеспечения возможности оперативного восстановления управления кластером при отказе одного из контроллеров необходимо настроить репликацию контроллеров. При этом сервер, используемый в репликации, может использоваться в качестве сервера виртуализации.
Дополнительно в кластере необходимо предусмотреть предотвращение последствий аварийных ситуаций для критически важных приложений, запущенных на серверах виртуализации. Для решения таких ситуаций предназначен функционал репликации ВМ, представляющий собой процесс создания и поддержания одной или более копий виртуальной машины на узлах. Это позволяет переключиться на существующую реплику при сбое основной ВМ.
Для остальных ВМ рекомендуется настроить режим высокой доступности на уровне кластера или индивидуально для каждой ВМ.
Репликация
Репликация контроллеров
Создание репликации между контроллерами включает следующие шаги:
Инициализировать связь между экземплярами контроллера, используя команду CLI, в следующем порядке:
На первом контроллере:
controller add <IP второго контроллера>
На втором контроллере:
controller add <IP первого контроллера>
На первом контроллере ввести повторно:
controller add <IP второго контроллера>
В ходе выполнения данной команды потребуется по запросу ввести пароль пользователя root от каждого контроллера.
Назначить роль master основному контроллеру, роль slave присвоится второму контроллеру автоматически. Для этого выполнить следующую команду в CLI основного контроллера:
controller role master
Проверить связность контроллеров:
controller status
Убедиться, что инициализация связности обоих контроллеров проведена (Initialized for remote controller) и активна.
Пример вывода команды controller status
Примечание
Статус pending означает недоступность второго контроллера по ssh. Необходимо проверить ssh ключи и сетевую связность контроллеров.
В разделе Задачи по расписанию нажать кнопку Добавить задачу.
Создать задачу по расписанию возможно в основном меню, в окне подробного просмотра выбранной ВМ, сервера или контроллера в разделе Задачи по расписанию.
Выбрать тип сущности: Виртуальная машина.
Выбрать ВМ.
Указать название.
Выбрать действие: replication_sync.
Выбрать периодичность.
Указать дату запуска.
Рекомендуется устанавливать время выполнения задачи по расписанию на время наименьшей прогнозируемой нагрузки на узел.
Указать описание.
Необязательное поле.
Указать количество реплик.
Задает максимальное количество создаваемых реплик. Фактическое число зависит от доступности узлов. Минимальное значение — одна реплика.
Добавить серверы.
Указывает на каких узлах можно создавать реплики ВМ. Без указания будут использоваться все узлы в текущем кластере. Каждый сервер нужно добавлять отдельно, указав в открывшемся окне пул ресурсов, сервер и пул данных.
Внимание
Не рекомендуется использовать узел, на котором находится оригинальная ВМ, так как он будет недоступен для репликации.
Опцию Удалить задачу после запуска оставить выключенной.
Включить опцию Включить выполнение задачи по расписанию.
Задача по расписанию будет автоматически активирована после создания.
Для создания задачи необходимо нажать кнопку ОК.
После создания задачи выполнить аналогичные действия для создания репликаций других ВМ.
Резервное копирование
Резервное копирование БД контроллера
В БД контроллера содержится конфигурация SpaceVM, включая пользователей и их настройки, информация о виртуальных машинах, подключенных серверах и систем хранения данных, сетевые настройки как физических подключений, так и виртуальных сетей и т.д.
Для предупреждения возможных ситуаций, связанных с повреждением БД, рекомендуется настроить задачу по расписанию для создания резервных копий БД.
В разделе Задачи по расписанию нажать кнопку Добавить задачу.
Создать задачу по расписанию возможно в основном меню, в окне подробного просмотра выбранной ВМ, сервера или контроллера в разделе Задачи по расписанию.
Выбрать тип сущности: Контроллер.
Выбрать контроллер.
Указать название.
Выбрать действие: backup_db.
Выбрать периодичность.
Указать дату запуска.
Рекомендуется устанавливать время выполнения задачи по расписанию на время наименьшей прогнозируемой нагрузки на узел.
Указать описание.
Необязательное поле.
Опцию Удалить задачу после запуска оставить выключенной.
Включить опцию Включить выполнение задачи по расписанию.
Задача по расписанию будет автоматически активирована после создания.
Для создания задачи необходимо нажать кнопку ОК.
После создания задачи выполнить аналогичные действия для создания резервных копий БД других контроллеров.
Резервное копирование ВМ
В ситуациях, когда обеспечение минимального времени недоступности ВМ некритично, альтернативным вариантом репликации ВМ будет настройка для ВМ резервного копирования при помощи задач по расписанию. Порядок действий для создания задачи будет аналогичен инструкции по репликации ВМ, но в качестве действия необходимо выбрать backup, а также будут доступны дополнительные возможности задачи.
Примечание
При выборе задачи с типом backup необходимо включить опцию Выбрать пул данных и выбрать ранее созданный пул данных.
Гостевой агент
Для консистентности данных создаваемых резервных копий необходимо установить на ВМ гостевые утилиты.
После создания задачи выполнить аналогичные действия для создания резервной копии других ВМ.
Рекомендуется распределить по разным дням недели резервное копирование ВМ в кластере, чтобы избежать ситуации, когда создается одновременно множество резервных копий.
Высокая доступность ВМ
Высокая доступность — это набор механизмов управления, позволяющий восстанавливать работоспособность ВМ без риска повреждения данных при прекращении работы узла кластера. Настройка высокой доступности, применяемая на весь кластер, выполняется в разделе Кластеры - Имя кластера - Высокая доступность. Другая опция — настроить ВД выборочно для конкретных ВМ в разделе Высокая доступность окна подробного просмотра ВМ. При этом индивидуальные настройки ВМ являются приоритетными.
Для включения ВД для виртуальной машины необходимо в разделе Высокая доступность окна подробного просмотра ВМ активировать опцию высокой доступности и настроить параметры доступности гостевой ОС. Также необходимо перенести узлы в поле Серверы, используемые для восстановления ВМ.
По ссылкам на официальную документацию можно изучить дополнительные технические подробности и связанные настройки.
Комментарии 0