Продолжаем рубрику «Лучшие практики SpaceVM 6.5.9». В прошлой статье мы рассказали как построить отказоустойчивый кластер на базе SpaceVM, теперь настроим файловую систему GFS2 по iSCSI.
Схемы инфраструктуры для КТ GFS2
Общая информация
При построении кластера SpaceVM с разделяемым хранилищем GFS2 и внешней системой хранения данных (СХД), подключенной через протокол iSCSI, рекомендуется создавать изолированные сети для следующих типов трафика:
Встроенная сеть управления mgmt - для администрирования и мониторинга кластера.
Кластерный транспорт GFS2 - для обеспечения работы файловой системы и синхронизации данных между узлами кластера.
Сеть для переноса виртуальных машин (ВМ) и копирования дисков — для операций, связанных с миграцией ВМ и управлением данными.
Сеть СХД (iSCSI) - для подключения к внешней системе хранения данных через протокол iSCSI.
Представленная сегментация сетей позволяет повысить надёжность и производительность кластера, а также обеспечить безопасность данных.
Внимание
Категорически не рекомендуется использование HDD-дисков для разделяемого хранилища GFS2. GFS2 создаёт высокую нагрузку при записи служебных данных (журналирование, метаданные, блокировки DLM для восстановлений при сбоях). HDD-диски очень медленно выполняют подобные операции из-за высоких задержек, что приводит к резкому падению производительности.
Для корректной работы хранилища GFS2 и поддерживания высокой производительности необходимо использовать твердотельные накопители (SSD).
Для всех сетей рекомендуется дублирование коммутаторов, чтобы обеспечить бесперебойную работу в случае отказов оборудования или потери связности каналов. Для сетей внутри SpaceVM (mgmt, перенос ВМ и дисков, кластерный транспорт GFS2) дублирование должно выполняться с использованием агрегированных интерфейсов типа Active-Backup средствами SpaceVM.
Использование механизмов LACP/LAGG на уровне коммутаторов не рекомендуется, поскольку это может вызывать конфликты в работе кластерного транспорта GFS2.
Для сетей СХД рекомендуется использование технологии Multipath.
Для обеспечения корректной и надёжной работы кластера SpaceVM с разделяемым хранилищем GFS2, которое базируется на внешней СХД, подключённой через протокол iSCSI, необходимо создать отказоустойчивую сетевую инфраструктуру. Это позволит минимизировать риски сбоев и обеспечить непрерывность работы кластера.
Схемы инфраструктуры с использованием iSCSI
Примечание
На схемах IP-адреса, подсети, номера VLAN и наименования интерфейсов являются примерами. Необходимо производить настройку в соответствии с существующей инфраструктурой.
1. Рекомендованная схема
Рекомендованная схема инфраструктуры
2. Схема без использования выделенных коммутаторов для организации mgmt
Схема без использования выделенных коммутаторов для организации mgmt
Риски отсутствия выделенных коммутаторов для организации mgmt
Задержки в трафике сети mgmt могут нарушить доступность узлов для контроллера управления, что может привести к их перезапуску.
Проблемы в кластерном транспорте могут вызвать потерю кворума кластера GFS2, что также приведет к перезагрузке узлов.
Потеря или задержки в сети для переноса дисков или ВМ могут остановить важные сервисы во время выполнения операции "живой" миграции.
3. Нерекомендованная схема
Нерекомендованная схема инфраструктуры с использованием единственного коммутатора между кластерами СХД и виртуализации.
Нерекомендованная схема инфраструктуры
Риски отсутствия дублирования коммутатора
Отсутствие резервирования делает коммутатор единственной точкой отказа для всей сетевой инфраструктуры, объединяющей узлы кластера и систему хранения данных.
Выход коммутатора "из строя" приведет к потере всеми узлами кластера доступа к общему хранилищу, что вызовет немедленное прекращение работы файловой системы GFS2. Это может стать причиной потери данных, нарушения целостности файловой системы и недоступности сервисов.
Обслуживание или обновление единственного коммутатора потребует полного отключения сети между кластером и СХД. В высокодоступных средах важно поддерживать работоспособность сервисов даже при техническом обслуживании. Наличие нескольких коммутаторов позволит обновлять оборудование последовательно, сохраняя непрерывность сетевого соединения.
Разделение сетей и QoS
Рекомендуется разделять трафик по VLAN и настраивать механизм QoS для приоритизации передачи данных на каждой сети.
Допустимо совмещать сеть для переноса ВМ и копирования дисков с сетью mgmt.
Риски отсутствия разделения по коммутаторам, VLAN и QoS
Потери или задержки в трафике iSCSI могут привести к ошибкам записи в файловую систему GFS2 ("грязная запись"). Это может вызвать:
срабатывание защитной функции (перезапуск узлов);
повреждение файловой системы с риском утраты данных.
Задержки в трафике сети mgmt могут нарушить доступность узлов для контроллера управления, что может привести к их перезапуску.
Проблемы в кластерном транспорте могут вызвать потерю кворума кластера GFS2, что также приведет к перезагрузке узлов.
Потеря или задержки в сети для переноса дисков или ВМ могут остановить важные сервисы во время выполнения операции "живой" миграции.
Варианты построения инфраструктуры c использованием iSCSI
1. Вариант с четырьмя Ethernet-коммутаторами
Вариант с четырьмя Ethernet-коммутаторами основан на рекомендованной схеме.
Описание схемы:
Два коммутатора 10G для сети СХД:
Первый интерфейс каждого серверного узла подключается к первому коммутатору в режиме Active, второй — ко второму в режиме Backup. Агрегирование интерфейсов Active-Backup осуществляется средствами SpaceVM и не требует специальных настроек на стороне коммутаторов.
Коммутаторы должны быть связаны друг с другом.
Со стороны СХД рекомендуется использовать технологию Multipath.
Два коммутатора 1G для следующих сетей:
mgmt + перенос ВМ и дисков.
Первый интерфейс каждого узла подключается к первому коммутатору в режиме Active, второй — ко второму в режиме Backup. Агрегирование выполняется средствами SpaceVM.
Кластерный транспорт GFS2.
Каждый узел подключается к отдельному порту первого коммутатора. Подключение ко второму коммутатору не требуется. В случае сбоя первого коммутатора сеть автоматически переключится на режим совмещения с сетями mgmt и перенос ВМ/дисков (это обеспечивается средствами SpaceVM и протоколом SCTP).
2. Альтернативные варианты с двумя коммутаторами
Примечание
Возможно построить кластер SpaceVM с использованием только двух Ethernet-коммутаторов. Этот подход экономичнее, но менее надежен.
Два коммутатора (1G + 10G)
Вариант с двумя коммутаторами (1G и 10G) основан на рекомендованной схеме инфраструктуры.
Описание схемы с двумя коммутаторами:
Один 1G-коммутатор используется для сетей:
mgmt + перенос ВМ и копирование дисков.
Кластерный транспорт GFS2.
Рекомендуется выделять отдельные порты на каждом узле либо создавать отдельный VLAN.
Один 10G-коммутатор применяется для сети СХД iSCSI.
Этот вариант аналогичен предыдущим схемам, но не обеспечивает отказоустойчивость.
Два коммутатора 10G
Вариант с двумя 10G-коммутаторами основан на схеме с ограничениями.
Описание схемы:
Один 10G-интерфейс каждого узла подключается к первому коммутатору в режиме Active, второй — к другому коммутатору в режиме Backup.
Рекомендуется создание отдельных внешних сетей для следующих целей помимо сети mgmt:
Кластерный транспорт GFS2.
Перенос ВМ и копирование дисков.
iSCSI.
Все сети необходимо разделить по VLAN.
Необходимо настроить QoS с ограничениями на скорость передачи данных: 50% — для iSCSI, 30% — для переноса ВМ и дисков, 10% — для кластерного транспорта GFS2, 10% — для mgmt. Несоблюдение этих рекомендаций может привести к проблемам с доступностью кластеров и потерям данных.
3. Не рекомендуемая схема
Вариант данной схемы коммутации сети является критической точкой отказа всего кластера.
При отказе коммутатора происходит полная потеря доступности кластера.
Все сервисы и данные становятся недоступными до устранения неисправности.
Любой сбой в работе коммутатора приведет к полной остановке работы кластера.
Один коммутатор становится единственной точкой отказа всей системы.
Нарушается доступность сервисов.
Для минимизации рисков необходимо использовать рекомендованную схему инфраструктуры или схему с ограничениями.
Подготовка инфраструктуры для КТ GFS2
Примечание
Все IP-адреса, подсети, номера VLAN и наименования интерфейсов являются примерами. Необходимо производить настройку в соответствии с инфраструктурой.
Создать bond для сети mgmt, выполнив в CLI следующие команды на всех узлах:
net conf ports set-default-bond -n bond_mgmt -i eno1 eno2 -m active-backup -l off
net conf vlan set -i bond_mgmt -m trunk
Создать на контроллере внешнюю сеть GFS2 для кластерного транспорта с указанием подсети 10.0.17.0/24.
Перейти в Web-интерфейс SpaceVM в раздел основного меню Сети - Внешние сети.
Нажать кнопку Создать.
На первом этапе создания сети указать название сети GFS2 и адрес 10.0.17.0/24.
На втором этапе создания сети поочередно добавить необходимые серверы.
На третьем этапе создания сети настроить VLAN, MTU, а также при необходимости настроить резервирование адресов.
На четвертом этапе создания сети проверить корректность параметров создаваемой сети и нажать кнопку ОК.
Внимание
Необходимо обеспечение стабильности канала в сети кластерного транспорта. Для этого необходимо исключить неприоритетный трафик, который может негативно влиять на функционирование системы, и гарантировать неизменную пропускную способность канала.
Создать для каждого сервера внутренний интерфейс во внешней сети GFS2.
Перейти на вкладку Подключённые серверы созданной сети GFS2.
Поочередно выбрать каждый сервер и добавить внутренний интерфейс кнопкой
Окно создания внутреннего интерфейса сети GFS2
Созданная сеть GFS2
Создать на контроллере внешнюю сеть iSCSI для подключения кластерного хранилища с указанием подсети 10.0.20.0/24 и агрегированного интерфейса.
Перейти в Web-интерфейс SpaceVM в раздел основного меню Сети - Внешние сети.
Нажать кнопку Создать.
На первом этапе создания сети указать название сети iSCSI и адрес 10.0.20.0/24.
На втором этапе создания сети поочередно добавить необходимые серверы, а также добавить каждому из них агрегированный интерфейс.
Второй этап создания сети iSCSI
На третьем этапе создания сети настроить VLAN, MTU, а также при необходимости настроить резервирование адресов.
На четвертом этапе создания сети проверить корректность параметров создаваемой сети и нажать кнопку ОК.
Создать для каждого сервера внутренний интерфейс во внешней сети iSCSI.
Перейти на вкладку Подключённые серверы созданной сети iSCSI.
Поочередно выбрать каждый сервер и добавить внутренний интерфейс кнопкой
Окно создания внутреннего интерфейса сети iSCSI
Созданная сеть iSCSI
Создание файловой системы GFS2
Примечание
Все IP-адреса, подсети, номера VLAN и наименования интерфейсов являются примерами. Необходимо производить настройку в соответствии с инфраструктурой.
Подключение блочного хранилища iSCSI
Для подключения нового блочного хранилища к SpaceVM необходимо перейти в пункт основного меню Хранилища - Сетевые хранилища - Блочные и нажать кнопку Добавить хранилище.
Интерфейс меню Блочные сетевые хранилища
В открывшемся окне необходимо заполнить следующие поля:
Название сетевого хранилища.
Локация.
Сервер.
Необходимо выбрать серверы, которые будут участвовать в кластерном транспорте.
Адреса.
Необходимо указать IP-адрес/IP-адреса/имя/имена Блочного хранилища. Для проверки подключения необходимо нажать кнопку Получить доступные таргеты. В случае успешного подключения Блочного хранилища будет получен список Target.
Окно добавления Блочного хранилища
После заполнения указанных полей необходимо нажать кнопку ОК. В списке Блочных сетевых устройств отобразится подключенное Блочное сетевое устройство.
Список Блочных устройств
При открытии Блочного сетевого устройства в пункте меню Информация в блоке Серверы будет отображен список серверов, на которых подключено данное Блочное сетевое устройство.
Информация о Блочном устройстве
В пункте меню LUNs отображаются доступные LUN. В случае необходимости возможно произвести повторное сканирование LUN нажатием кнопки Сканировать.
Список LUNs
Создание GFS2
Создание GFS2 возможно двумя способами:
Самостоятельное создание КТ и пула данных GFS2.
Создание КТ и пула данных GFS2 из единого интерфейса.
Единый интерфейс создания КТ и пула данных GFS2 доступен с версии SpaceVM 6.5.4 и выше.
Самостоятельное создание КТ и пула данных GFS2
Для создания кластерного транспорта необходимо:
Перейти в пункт основного меню Хранилища - Кластерные хранилища - Кластерные транспорты.
Интерфейс меню Кластерные транспорты
Нажать кнопку Создать.
Кнопка создания Кластерного транспорта
Заполнить следующие поля:
Название.
Тип.
Необходимо указать тип файловой системы GFS2.
Внимание
В случае, если для кластерного транспорта настроена внешняя сеть, необходимо активировать опцию Выбрать внешнюю сеть и указать ее.
Создание Кластерного транспорта
После создания кластерного транспорта следует создать пул данных GFS2. Для этого необходимо:
Перейти в пункт основного меню Хранилища - Пулы данных и нажать кнопку Добавить пул.
В открывшемся окне заполнить следующие поля:
Выбрать тип пула.
Установить значение: gfs2.
Выбрать пул ресурсов.
Название пула данных.
Выбрать LUN.
Пул данных будет создан на выбранном LUN.
Допускается использование только LUN с файловой системой GFS2. Если тип ФС иной, то необходимо отформатировать LUN в ФС GFS2 самостоятельно.
Название каталога.
Название каталога для пула данных.
Нажать кнопку ОК.
Создание КТ и пула данных GFS2 из единого интерфейса
Единый интерфейс создания КТ и пула данных GFS2 доступен с версии SpaceVM 6.5.4 и выше.
Для создания кластерного транспорта и пула данных GFS2 из единого интерфейса необходимо:
Перейти в раздел Хранилища - Пулы данных.
Нажать кнопку Добавить пул.
В открывшемся окне заполнить следующие поля:
Выбрать тип пула.
Установить значение: gfs2.
Выбрать кластер.
Необходимо выбрать кластер, на котором ранее был создан кластерный транспорт.
Выбрать пул ресурсов.
Кластерный транспорт.
Если был выбран необходимый кластер, то данное поле будет заполнено автоматически.
Название пула данных.
Выбрать LUN.
Необходимо выбрать LUN ранее подключенного Блочного хранилища.
Название каталога.
Название каталога для пула данных.
Выбрать внешнюю сеть.
Необходимо выбрать ранее созданную внешнюю сеть GFS2.
Форматировать LUN.
При активной опции Форматировать LUN выбранный LUN будет отформатирован в файловую систему GFS2.
Если опция Форматировать LUN не активна, на диске обнаружена ФС GFS2 и на данном LUN обнаружены ранее созданные пулы данных, то все найденные пулы будут также добавлены в список пулов данных.
Внимание
Форматирование LUN удалит все данные на нем.
Нажать кнопку ОК.
Диагностика GFS2
Примечание
Все IP-адреса, подсети, номера VLAN и наименования интерфейсов являются примерами. Необходимо производить настройку в соответствии с инфраструктурой.
Проверка состояния ФС
Групповой запрос
Указанные ниже команды можно выполнять групповым запросом, используя команду node nodes-cli <command>.
Проверка состояния ФС GFS2 производится с помощью команд CLI:
Вывод состояния кластерного транспорта, кворума и службы блокировок:
storage gfs2
Вывод команды storage gfs2
Вывод не должен содержать ошибок.
Конфигурация службы блокировок DLM:
storage dlm-conf
Эталонный вывод команды storage dlm-conf
Вывод файла hosts для сопоставления узлов с именем узла:
hosts
Вывод команды hosts
На всех узлах, объединенных в Кластерный транспорт, в файле hosts должны быть внесены описания "ip имя узла" всех задействованных узлов Кластерного транспорта трафика управления и трафика кластерного транспорта.
Вывод информации о подключенных и доступных LUNs:
storage multipath
Вывод команды storage multipath
Получение таргетов iSCSI:
storage iscsi-discovery <ip_address:port>
Вывод команды storage iscsi-discovery
Вывод доступных iSCSI LUNs:
storage iscsi-luns
Вывод команды storage iscsi-luns
Сканирование доступных ФС и блочных хранилищ:
storage discovery
Вывод команды storage discovery
Проверка состояния служб
Для проверки состояния служб, связанных с работой GFS2, необходимо перейти в командную строку подсистемы. Для этого необходимо выполнить команду CLI:
shell
Проверка служб осуществляется с помощью следующих команд:
Корректность запущенных служб, связанных с GFS2:
systemctl list-units | grep open_iscsi
systemctl list-units | grep corosync
systemctl list-units | grep dlm
systemctl list-units | grep storage
Вывод команд systemctl list-units при корректно запущенных службах
Проверка состояния служб:
systemctl status open-iscsi.service
Вывод команды systemctl status open-iscsi.service при корректно работающей службе open-iscsi
systemctl status corosync.service
Вывод команды systemctl status corosync.service при корректно работающей службе corosync
systemctl status dlm.service
Вывод команды systemctl status dlm.service при корректно работающей службе dlm
systemctl status storage-gfs2-gfs2_<lockspace>.mount
Вывод команды systemctl status storage-gfs2-gfs2_<lockspace>.mount при корректно работающей службе storage-gfs2
В некоторых случаях значение lockspace может не совпадать c именем директории точки монтирования.
systemctl status sbd.service
Вывод команды systemctl status sbd.service при корректно работающей службе sbd
Диагностика проблем и выявление инцидентов
Первичная диагностика состояния ФС GFS2 проводится в CLI с помощью команд, описанных в разделе Проверка состояния служб.
Ниже приведены возможные ошибки, причины их возникновения, а также действия, которые необходимо произвести для их исправления.
Возможные ошибки
Сбой в работе DLM, вызванный отсутствием/затиранием файла конфигурации
Обнаружение ошибки:
Зафиксирована ошибка в выводе команды shell:
dmesg -T
Вывод команды dmesg -T
Причина возникновения ошибки:
Отсутствие данных в файле конфигурации.
Просмотр файла конфигурации
Исправление:
Внести изменение в файл конфигурации /etc/dlm/dlm.conf согласно эталону.
Эталонный вариант корректного файла конфигурации
Перезагрузить систему.
Сбой при установлении соединения corosync и отказа на узле
Обнаружение ошибки:
Зафиксирована ошибка в статусе corosync.service или log-файле /var/log/corosync/corosync.log.
Вывод команды systemctl status corosync.service
Зафиксирована ошибка в выводе команды journalctl -u corosync или journalctl --no-pager | grep corosync.
Вывод команды journalctl -u corosync
Диагностика ошибки на узлах:
Информация на каждом из узлов должна содержать информацию о всех узлах для корректного функционирования GFS2.
Команда CLI:
node nodes-cli 'hosts'
Вывод команды node nodes-cli 'hosts'
Причина возникновения ошибки:
Несоответствие файла hosts. Отсутствие записей, необходимых для функционирования связи между узлами.
Исправление:
Внести изменение в файл /etc/hosts согласно данным, расположенным на Контроллере. Для этого необходимо:
Перейти в shell:
shell
Открыть на редактирование файл /etc/hosts:
nano /etc/hosts
Внести изменения.
Сбой при монтировании ФС GFS2 в результате повреждения ФС, вызванного сбоем
Внимание
При срабатывании ограждения необходимо поочередно произвести размонтирование примонтированных ФС.
Не допускается использование кнопки Размонтировать. В случае ограждения все узлы, на которых была примонтирована ФС, будут немедленно перезагружены.
Обнаружение ошибки:
Команда CLI для получения статусов кластерного хранилища GFS2 на любом из узлов:
node nodes-cli 'storage gfs2'
Вывод команды node nodes-cli 'storage gfs2'
Исправление:
Если сбой произошел не на всех узлах (не вызван отключением iSCSI-сервера), необходимо остановить или перенести все ВМ и виртуальные диски, расположенные на данном хранилище.
Поочередно на каждом из узлов:
Остановить или перенести все ВМ и виртуальные диски, задействованные на узле на другие совместные пулы данных.
Удалить запись монтирования поврежденной ФС из /etc/fstab на узле.
Размонтировать ФС на узле (не допускается использование кнопки Размонтировать).
В случае, если ограждение узла не произошло, необходимо произвести перезагрузку.
После перезагрузки всех узлов необходимо запустить команду для исправления ФС, используя команду shell любого из узлов:
После завершения исправления ФС необходимо поочередно примонтировать ФС на узлах, используя кнопки управления, расположенные напротив серверов в разделе основного меню Хранилища - LUNs - <LUN ФС GFS2>.
Размонтирование LUNs и удаление КТ GFS2
Примечание
Все IP-адреса, подсети, номера VLAN и наименования интерфейсов являются примерами. Необходимо производить настройку в соответствии с инфраструктурой.
Освободить пулы данных GFS2, используемые в удаляемом кластерном транспорте, от ВМ и виртуальных дисков.
Перейти к выбранным пулам данных и нажать Извлечь для сохранения данных на LUN и его удаления или Удалить для удаления пула данных вместе с данными.
Открыть пункт основного меню Хранилища - LUNs.
Интерфейс меню LUNs
Поочередно открыть LUNs, относящиеся к ФС GFS2, которые расположены на отключаемом Кластерном транспорте/ISCSI-хранилище.
Информация о LUN
На SpaceVM версии 6.5.0 и ниже нажать кнопку Размонтировать для размонтирования ФС на узлах, на которых подключен данный LUN.
Размонтирование LUN на SpaceVM 6.5.0 и ниже
На SpaceVM версии 6.5.1 и выше нажать кнопку
для размонтирования ФС на узлах, на которых подключен данный LUN.
Размонтирование LUN на SpaceVM 6.5.1 и выше
После выполнения операции размонтирования статусы напротив серверов изменятся на не примонтирован.
Внимание
Перед выполнением следующего шага в системе должны быть:
Выключены все виртуальные машины.
Отключены все виртуальные диски, расположенные на связанных пулах данных.
Отключены все связанные пулы данных.
Отключить все сервера от LUN с помощью кнопки
Отключение серверов от LUN
Опционально. После завершения операции отключения серверов необходимо нажать кнопку Удалить для удаления LUN из системы.
Удаление LUN
Перейти в пункт основного меню Сетевые хранилища - Блочные.
Список Блочных хранилищ
Открыть Блочное хранилище, на котором расположен ранее отключенный LUN.
Окно информации о Блочном хранилище
Отключить все сервера от хранилища, на котором располагался LUN с помощью кнопки
Отключение серверов от Блочного хранилища
Опционально. Нажать кнопку Удалить для удаления хранилища из системы.
Удаление Блочного хранилища
Перейти в пункт основного меню Хранилища - Кластерные хранилища - Кластерные транспорты.
Список Кластерых транспортов
Выбрать Кластерный транспорт ФС GFS2, который был настроен для использования LUN ранее удаленного блочного хранилища.
Окно информации о Кластерном транспорте
Нажать кнопку Удалить для удаления кластерного транспорта из системы.
Удаление Кластерного транспорта
По ссылкам на официальную документацию можно изучить дополнительные технические подробности и связанные настройки.
Комментарии 0