Продолжаем рубрику «Лучшие практики SpaceVM 6.5.9». В этой статье мы расскажем о настройке GFS2 с использованием Fibre Channel (FC).

Схемы инфраструктуры для КТ GFS2

Общая информация

При построении кластера SpaceVM с использованием разделяемого хранилища GFS2 и внешней системы хранения данных (СХД), подключённой через протокол FC, рекомендуется организовать изолированные сети для различных типов трафика:

  • Встроенная сеть управления mgmt - для администрирования и мониторинга кластера.

  • Кластерный транспорт GFS2 - для обеспечения работы файловой системы и синхронизации данных между узлами кластера.

  • Сеть для переноса виртуальных машин (ВМ) и копирования дисков — для операций, связанных с миграцией ВМ и управлением данными.

  • Сеть СХД (FC) - для подключения к внешней системе хранения данных через протокол FC.

Представленная сегментация сетей позволяет повысить надёжность и производительность кластера, а также обеспечить безопасность данных.

Внимание

Категорически не рекомендуется использование HDD-дисков для разделяемого хранилища GFS2. GFS2 создаёт высокую нагрузку при записи служебных данных (журналирование, метаданные, блокировки DLM для восстановлений при сбоях). HDD-диски очень медленно выполняют подобные операции из-за высоких задержек, что приводит к резкому падению производительности.

Для корректной работы хранилища GFS2 и поддерживания высокой производительности необходимо использовать твердотельные накопители (SSD).

Для всех сетей рекомендуется дублирование коммутаторов, чтобы обеспечить бесперебойную работу в случае отказов оборудования или потери связности каналов. Для сетей внутри SpaceVM (mgmt, перенос ВМ и дисков, кластерный транспорт GFS2) дублирование должно выполняться с использованием агрегированных интерфейсов типа Active-Backup средствами SpaceVM.

Использование механизмов LACP/LAGG на уровне коммутаторов не рекомендуется, поскольку это может вызывать конфликты в работе кластерного транспорта GFS2.

Для сетей СХД рекомендуется использование технологии Multipath.

Для обеспечения корректной и надёжной работы кластера SpaceVM с разделяемым хранилищем GFS2, которое базируется на внешней СХД, подключённой через протокол FC, необходимо создать отказоустойчивую сетевую инфраструктуру. Это позволит минимизировать риски сбоев и обеспечить непрерывность работы кластера.


Схемы инфраструктуры с использованием FC

Примечание

На схемах IP-адреса, подсети, номера VLAN и наименования интерфейсов являются примерами.
Необходимо производить настройку в соответствии с существующей инфраструктурой.

1. Рекомендованная схема

Рекомендованная схема инфраструктуры

img

Типы портов FC


2. Схема без дублирования коммутаторов

Схема без дублирования коммутаторов

img

Риски отсутствия дублирования коммутатора

  1. Отсутствие резервирования делает коммутатор единственной точкой отказа для всей сетевой инфраструктуры, объединяющей узлы кластера и систему хранения данных.

  2. Выход коммутатора "из строя" приведет к потере всеми узлами кластера доступа к общему хранилищу, что вызовет немедленное прекращение работы файловой системы GFS2. Это может стать причиной потери данных, нарушения целостности файловой системы и недоступности сервисов.

  3. Обслуживание или обновление единственного коммутатора потребует полного отключения сети между кластером и СХД. В высокодоступных средах важно поддерживать работоспособность сервисов даже при техническом обслуживании. Наличие нескольких коммутаторов позволит обновлять оборудование последовательно, сохраняя непрерывность сетевого соединения.


3. Не рекомендованная схема с подключением FC напрямую к СХД

Не рекомендованная схема с подключением FC напрямую к СХД

img

Риски использования FC напрямую без FC-коммутатора

  1. Могут возникать трудности с обнаружением устройств и LUN, так как вендоры не проверяют все возможные конфигурации прямого подключения. Поддержка таких сценариев ограничена.

  2. Несоответствие поддерживаемых максимальных скоростей при прямом подключении может стать причиной нестабильной работы соединения и ошибок передачи данных.

  3. Использование разных FC-адаптеров (модели или производители) может привести к несовместимости и нестабильной работе соединения из-за конфликтов поддерживаемых скоростей, протоколов или функций.

  4. Могут быть ограничены или недоступны ключевые функции fabric: зонирование, многопутевое резервирование и автоматическое переключение при отказе канала (failover).

  5. Могут не поддерживаться продвинутые технологии NPIV, VSAN и QoS, что снижает отказоустойчивость, безопасность и управляемость СХД.


Разделение сетей и QoS

Рекомендуется разделять трафик по VLAN и настраивать механизм QoS для приоритизации передачи данных на каждой сети.

Риски отсутствия разделения по коммутаторам, VLAN и QoS
  1. Потери или задержки в трафике FC могут привести к ошибкам записи в файловую систему GFS2 ("грязная запись"). Это может вызвать:

    • срабатывание защитной функции (перезапуск узлов);

    • повреждение файловой системы с риском утраты данных.

  2. Задержки в трафике сети mgmt могут нарушить доступность узлов для контроллера управления, что может привести к их перезапуску.

  3. Проблемы в кластерном транспорте могут вызвать потерю кворума кластера GFS2, что также приведет к перезагрузке узлов.

  4. Потеря или задержки в сети для переноса дисков или ВМ могут остановить важные сервисы во время выполнения операции "живой" миграции.


Варианты построения инфраструктуры с использованием FC

1. Вариант с четырьмя коммутаторами

Вариант с четырьмя коммутаторами основан на рекомендованной схеме.

Предлагаемый вариант включает использование двух Ethernet-коммутаторов 1G и двух коммутаторов Fibre Channel:

  1. Два дублирующих коммутатора для сети FC (Fibre Channel).

  2. Два коммутатора 1G для следующих сетей:

    • mgmt + перенос ВМ и дисков.

      Первый порт каждого серверного узла подключается к первому коммутатору в режиме Active, а второй — ко второму коммутатору в резервном режиме Backup. Агрегация каналов осуществляется средствами SpaceVM в режиме Active-backup, и не требует специальной настройки коммутаторов.

      Коммутаторы должны быть соединены между собой.

    • Кластерный транспорт GFS2.

      Каждый узел подключается к отдельному порту первого коммутатора. Подключение к узлам на втором коммутаторе не требуется.

      В случае сбоя первого коммутатора сеть автоматически переключится в совмещенный режим с сетью управления mgmt и переноса ВМ/дисков. Переключение обеспечивается средствами SpaceVM и протоколом SCTP.


2. Альтернативный вариант с двумя коммутаторами (1G и FC)

Примечание

Возможно построить кластер SpaceVM с разделяемым хранилищем GFS2 на базе внешней СХД, подключенной по протоколу FC, используя всего два коммутатора: один Ethernet 1G и один FC. Этот подход экономичнее предыдущего, однако менее отказоустойчив.

Вариант с одним коммутатором 1G и одним FC основан на схеме без дублирования коммутаторов.

Описание схемы:

  1. Коммутатор 1G используется для следующих целей:

    • mgmt + перенос ВМ и копирование дисков.

    • Кластерный транспорт GFS2.

      Рекомендуется выделять отдельные порты на каждом узле либо создавать отдельный VLAN.

  2. Коммутатор FC предназначен исключительно для работы с сетью хранения данных Fibre Channel.

Подготовка инфраструктуры для КТ GFS2

Примечание

Все IP-адреса, подсети, номера VLAN и наименования интерфейсов являются примерами. Необходимо производить настройку в соответствии с инфраструктурой.


  1. Создать bond для сети mgmt, выполнив в CLI следующие команды на всех узлах:

    net conf ports set-default-bond -n bond_mgmt -i eno1 eno2 -m active-backup -l off
    net conf vlan set -i bond_mgmt -m trunk
  2. Создать на контроллере внешнюю сеть GFS2 для кластерного транспорта с указанием подсети 10.0.17.0/24.

    • Перейти в Web-интерфейс SpaceVM в раздел основного меню Сети - Внешние сети.

    • Нажать кнопку Создать.

    • На первом этапе создания сети указать название сети GFS2 и адрес 10.0.17.0/24.

    • На втором этапе создания сети поочередно добавить необходимые серверы.

    • На третьем этапе создания сети настроить VLAN, MTU, а также при необходимости настроить резервирование адресов.

    • На четвертом этапе создания сети проверить корректность параметров создаваемой сети и нажать кнопку ОК.

    Внимание

    Необходимо обеспечение стабильности канала в сети кластерного транспорта. Для этого необходимо исключить неприоритетный трафик, который может негативно влиять на функционирование системы, и гарантировать неизменную пропускную способность канала.

  3. Создать для каждого сервера внутренний интерфейс во внешней сети GFS2.

    • Перейти на вкладку Подключённые серверы созданной сети GFS2.

    • Поочередно выбрать каждый сервер и добавить внутренний интерфейс кнопкой

      img
      Окно создания внутреннего интерфейса сети GFS2
      img
    Созданная сеть GFS2
    img

Создание файловой системы GFS2

Примечание

Все IP-адреса, подсети, номера VLAN и наименования интерфейсов являются примерами. Необходимо производить настройку в соответствии с инфраструктурой.


Подключение блочного хранилища FC

Для подключения нового блочного хранилища к SpaceVM необходимо перейти в пункт основного меню Серверы - <Имя сервера> - Хранилища - Блочные хранилища и нажать кнопку Сканировать.

Интерфейс меню Блочные хранилища
img

При открытии вкладки основного меню Хранилища - Сетевые хранилища - Блочные - <Имя блочного сетевого хранилища> - Информация в блоке Серверы будет отображен список серверов, на которых подключено данное Блочное сетевое устройство.

При сканировании Блочное хранилище добавляется ко всем серверам, которые физически подключены к нему.

В пункте меню LUNs отображаются доступные LUN. В случае необходимости возможно произвести повторное сканирование LUN нажатием кнопки Сканировать.


Создание GFS2

Создание GFS2 возможно двумя способами:

  1. Самостоятельное создание КТ и пула данных GFS2.

  2. Создание КТ и пула данных GFS2 из единого интерфейса.

    Единый интерфейс создания КТ и пула данных GFS2 доступен с версии SpaceVM 6.5.4 и выше.


Самостоятельное создание КТ и пула данных GFS2

Для создания кластерного транспорта необходимо:

  1. Перейти в пункт основного меню Хранилища - Кластерные хранилища - Кластерные транспорты.

    Интерфейс меню Кластерные транспорты
    img
  2. Нажать кнопку Создать.

    Кнопка создания Кластерного транспорта
    img
  3. Заполнить следующие поля:

    • Название.

    • Тип.

      Необходимо указать тип файловой системы GFS2.

    Внимание

    В случае, если для кластерного транспорта настроена внешняя сеть, необходимо активировать опцию Выбрать внешнюю сеть и указать ее.

    Создание Кластерного транспорта
    img

    img

    img

После создания кластерного транспорта следует создать пул данных GFS2. Для этого необходимо:

  1. Перейти в пункт основного меню Хранилища - Пулы данных и нажать кнопку Добавить пул.

  2. В открывшемся окне заполнить следующие поля:

    • Выбрать тип пула.

      Установить значение: gfs2.

    • Выбрать пул ресурсов.

    • Название пула данных.

    • Выбрать LUN.

      Пул данных будет создан на выбранном LUN.

      Допускается использование только LUN с файловой системой GFS2. Если тип ФС иной, то необходимо отформатировать LUN в ФС GFS2 самостоятельно.

    • Название каталога.

      Название каталога для пула данных.

  3. Нажать кнопку ОК.


Создание КТ и пула данных GFS2 из единого интерфейса

Единый интерфейс создания КТ и пула данных GFS2 доступен с версии SpaceVM 6.5.4 и выше.

Для создания кластерного транспорта и пула данных GFS2 из единого интерфейса необходимо:

  1. Перейти в раздел Хранилища - Пулы данных.

  2. Нажать кнопку Добавить пул.

  3. В открывшемся окне заполнить следующие поля:

    • Выбрать тип пула.

      Установить значение: gfs2.

    • Выбрать кластер.

      Необходимо выбрать кластер, на котором ранее был создан кластерный транспорт.

    • Выбрать пул ресурсов.

    • Кластерный транспорт.

      Если был выбран необходимый кластер, то данное поле будет заполнено автоматически.

    • Название пула данных.

    • Выбрать LUN.

      Необходимо выбрать LUN ранее подключенного Блочного хранилища.

    • Название каталога.

      Название каталога для пула данных.

    • Выбрать внешнюю сеть.

      Необходимо выбрать ранее созданную внешнюю сеть GFS2.

    • Форматировать LUN.

      При активной опции Форматировать LUN выбранный LUN будет отформатирован в файловую систему GFS2.

      Если опция Форматировать LUN не активна, на диске обнаружена ФС GFS2 и на данном LUN обнаружены ранее созданные пулы данных, то все найденные пулы будут также добавлены в список пулов данных.

      Внимание

      Форматирование LUN удалит все данные на нем.

  4. Нажать кнопку ОК.

Диагностика GFS2

Примечание

Все IP-адреса, подсети, номера VLAN и наименования интерфейсов являются примерами. Необходимо производить настройку в соответствии с инфраструктурой.


Проверка состояния ФС

Групповой запрос

Указанные ниже команды можно выполнять групповым запросом, используя команду node nodes-cli <command>.

Проверка состояния ФС GFS2 производится с помощью команд CLI:

  • Вывод состояния кластерного транспорта, кворума и службы блокировок:

    storage gfs2
    Вывод команды storage gfs2
    img

    Вывод не должен содержать ошибок.

  • Конфигурация службы блокировок DLM:

    storage dlm-conf
    Эталонный вывод команды storage dlm-conf
  • Вывод файла hosts для сопоставления узлов с именем узла:

    hosts

    На всех узлах, объединенных в Кластерный транспорт, в файле hosts должны быть внесены описания "ip имя узла" всех задействованных узлов Кластерного транспорта трафика управления и трафика данных.

  • Вывод информации о подключенных и доступных LUNs:

    storage multipath
  • Вывод доступных FC LUNs:

    storage fc-luns  
  • Сканирование доступных ФС и блочных хранилищ:

    storage discovery

Проверка состояния служб

Для проверки состояния служб, связанных с работой GFS2, необходимо перейти в командную строку подсистемы. Для этого необходимо выполнить команду CLI:

shell

Проверка служб осуществляется с помощью следующих команд:

systemctl status corosync.service
Вывод команды systemctl status corosync.service при корректно работающей службе corosync
systemctl status dlm.service
Вывод команды systemctl status dlm.service при корректно работающей службе dlm
systemctl status storage-gfs2-gfs2_<lockspace>.mount
Вывод команды systemctl status storage-gfs2-gfs2_<lockspace>.mount при корректно смонтированном LUN

Каждому примонтированному LUN соответствует одна служба. Для проверки всех LUNs необходимо последовательно выполнять указанную команду, поочередно указывая <lockspace> примонтированных LUNs.

В некоторых случаях значение lockspace может не совпадать c именем директории точки монтирования.

systemctl status sbd.service
Вывод команды systemctl status sbd.service при корректно работающей службе sbd
img

Диагностика проблем и выявление инцидентов

Первичная диагностика состояния ФС GFS2 проводится в CLI с помощью команд, описанных в разделе Проверка состояния служб.

Ниже приведены возможные ошибки, причины их возникновения, а также действия, которые необходимо произвести для их исправления.


Возможные ошибки

Сбой в работе DLM, вызванный отсутствием/затиранием файла конфигурации

  1. Обнаружение ошибки:

    Зафиксирована ошибка в выводе команды shell:

    dmesg -T
    Вывод команды dmesg -T
    img
  2. Причина возникновения ошибки:

    Отсутствие данных в файле конфигурации.

    Просмотр файла конфигурации
  3. Исправление:

    • Внести изменение в файл конфигурации /etc/dlm/dlm.conf согласно эталону.

      Эталонный вариант корректного файла конфигурации
      img
    • Перезагрузить систему.


Сбой при установлении соединения corosync и отказа на узле

  1. Обнаружение ошибки:

    • Зафиксирована ошибка в статусе corosync.service или log-файле /var/log/corosync/corosync.log.

      Вывод команды systemctl status corosync.service
      img
    • Зафиксирована ошибка в выводе команды journalctl -u corosync или journalctl --no-pager | grep corosync.

      Вывод команды journalctl -u corosync
  2. Диагностика ошибки на узлах:

    Информация на каждом из узлов должна содержать информацию о всех узлах для корректного функционирования GFS2.

    Команда CLI:

    node nodes-cli 'hosts'
  3. Причина возникновения ошибки:

    Несоответствие файла hosts. Отсутствие записей, необходимых для функционирования связи между узлами.

  4. Исправление:

    Внести изменение в файл /etc/hosts согласно данным, расположенным на Контроллере. Для этого необходимо:

    • Перейти в shell:

      shell
    • Открыть на редактирование файл /etc/hosts:

      nano /etc/hosts
    • Внести изменения.


Сбой при монтировании ФС GFS2 в результате повреждения ФС, вызванного сбоем

Внимание

При срабатывании ограждения необходимо поочередно произвести размонтирование примонтированных ФС.

Не допускается использование кнопки Размонтировать. В случае ограждения все узлы, на которых была примонтирована ФС, будут немедленно перезагружены.

  1. Обнаружение ошибки:

    • Команда CLI для получения статусов кластерного хранилища GFS2 на любом из узлов:

      node nodes-cli 'storage gfs2'
      Вывод команды node nodes-cli 'storage gfs2'
      img
  2. Исправление:

    • Если сбой произошел не на всех узлах, необходимо остановить или перенести все ВМ и виртуальные диски, расположенные на данном хранилище.

    • Поочередно на каждом из узлов:

      • Остановить или перенести все ВМ и виртуальные диски, задействованные на узле на другие совместные пулы данных.

      • Удалить запись монтирования поврежденной ФС из /etc/fstab на узле.

      • Размонтировать ФС на узле (не допускается использование кнопки Размонтировать).

      • В случае, если ограждение узла не произошло, необходимо произвести перезагрузку.

    • После перезагрузки всех узлов необходимо запустить команду для исправления ФС, используя команду shell любого из узлов:

      fsck.gfs2 -y <lun_path>
      Пример ввода fsck.gfs2 -y
      fsck.gfs2 -y /dev/mapper/3600143801259dcf30000b00000220000
    • После завершения исправления ФС необходимо поочередно примонтировать ФС на узлах, используя кнопки управления, расположенные напротив серверов в разделе основного меню Хранилища - LUNs - <LUN ФС GFS2>.

Размонтирование LUNs и удаление КТ GFS2

Примечание

Все IP-адреса, подсети, номера VLAN и наименования интерфейсов являются примерами. Необходимо производить настройку в соответствии с инфраструктурой.


  1. Освободить пулы данных GFS2, используемые в удаляемом кластерном транспорте, от ВМ и виртуальных дисков.

  2. Перейти к выбранным пулам данных и нажать Извлечь для сохранения данных на LUN и его удаления или Удалить для удаления пула данных вместе с данными.

  3. Открыть пункт основного меню Хранилища - LUNs.

    Интерфейс меню LUNs
  4. Поочередно открыть LUNs, относящиеся к ФС GFS2, которые расположены на отключаемом Кластерном транспорте/FC-хранилище.

    Информация о LUN
  5. На SpaceVM версии 6.5.0 и ниже нажать кнопку Размонтировать для размонтирования ФС на узлах, на которых подключен данный LUN.

    Размонтирование LUN на SpaceVM 6.5.0 и ниже

    На SpaceVM версии 6.5.1 и выше нажать кнопку

    для размонтирования ФС на узлах, на которых подключен данный LUN.

    Размонтирование LUN на SpaceVM 6.5.1 и выше

    После выполнения операции размонтирования статусы напротив серверов изменятся на не примонтирован.

    Внимание

    Перед выполнением следующего шага в системе должны быть:

    • Выключены все виртуальные машины.

    • Отключены все виртуальные диски, расположенные на связанных пулах данных.

    • Отключены все связанные пулы данных.

  6. Отключить все сервера от LUN с помощью кнопки

    Отключение серверов от LUN
  7. Опционально. После завершения операции отключения серверов необходимо нажать кнопку Удалить для удаления LUN из системы.

    Удаление LUN

  8. Перейти в пункт основного меню Сетевые хранилища - Блочные.

  9. Открыть Блочное хранилище, на котором расположен ранее отключенный LUN.

    Окно информации о Блочном хранилище
  10. Отключить все сервера от хранилища, на котором располагался LUN с помощью кнопки

    Отключение серверов от Блочного хранилища
  11. Опционально. Нажать кнопку Удалить для удаления хранилища из системы.

  12. Перейти в пункт основного меню Хранилища - Кластерные хранилища - Кластерные транспорты.

    Список Кластерых транспортов
  13. Выбрать Кластерный транспорт ФС GFS2, который был настроен для использования LUN ранее удаленного блочного хранилища.

    Окно информации о Кластерном транспорте
  14. Нажать кнопку Удалить для удаления кластерного транспорта из системы.

    Удаление Кластерного транспорта




По ссылкам на официальную документацию можно изучить дополнительные технические подробности и связанные настройки.