Процедура развертывания высокодоступного распределённого хранилища

В данной статье описана процедура развертывания высокодоступного распределённого хранилищадля хранения дисков, ISO-образов и резервных копий виртуальных машин на локальных накопителях серверов с использованием кластерной файловой системы GlusterFS в инфраструктуре SpaceVM.

Предлагаемое техническое решение обеспечивает устойчивость к одновременному отказу отдельного сервера в кластере, одиночного жесткого диска внутри репликационного блока («брика») на отдельном узле, а также одного сетевого коммутатора без риска утраты данных и прерывания функционирования виртуальных машин в кластере.

Приведенный пример демонстрирует создание пула данных с доступным объемом около 3,5 Гбайт. В реальных условиях объем можно масштабировать, например, до 3,5 Тбайт полезного пространства.

Планирование серверов и дисков

Организация узлов и дисков в кластере

Данное решение предназначено для функционирования в кластере от трёх узлов. Один или два сервера могут выступать в роли Controller+Node. При настройке репликации назначение ролей Master и Slave контроллеру выполняется в соответствии с разделом.

Для организации хранилища потребуется следующее оборудование:

  • По десять одинаковых SSD-дисков объёмом от 1 ТБайт каждый — предназначены для хранения данных виртуальных машин.

  • Два SSD-диска от 128 ГБайт — предназначены для хранения метаданных (для раздела арбитра).

При этом пять дисков подключаются к каждому из двух произвольных узлов кластера, а оставшиеся два диска — к третьему произвольно выбранному узлу.

Планирование сетевой инфраструктуры

Организация сетевой инфраструктуры

В файловой системе GlusterFS одна и та же сеть применяется одновременно для передачи служебной информации, обмена данными между блоками (bricks) тома и доступа клиентов (например, виртуальных машин), если клиентские машины расположены на другом физическом сервере относительно самого хранилища.


Общие рекомендации

  1. Пропускная способность сети для повышения производительности кластера — от 10 Гбит/с.

  2. Два от 10G-коммутатора:

    • основной;

    • резервный.

  3. Два от 1G-коммутатора:

    • для встроенной сети управления mgmt SpaceVM;

    • резервный.

  4. Дополнительно на основном от 1G-коммутаторе создать:

    • внешнюю сеть для переноса ВМ и дисков в отдельном VLAN;

    • внешнюю сеть для трафика ВМ и дисков в отдельном VLAN.

Рекомендуемая схема сетевой инфраструктуры
img

Использование двух 10G-коммутаторов

Возможно использование только двух 10G-коммутаторов (основного и резервного). Но при этом необходимо создать следующие сети:

  • встроенную сеть управления mgmt в отдельном VLAN;

  • внешнюю сеть для КТ Gluster в отдельном VLAN;

  • внешнюю сеть для переноса ВМ и дисков в отдельном VLAN;

  • внешнюю сеть для трафика ВМ и дисков в отдельном VLAN.

Cоздание агрегированных интерфейсов и внешней сети

Порядок действий

  1. Создать на контроллере внешнюю сеть gluster для подключения кластерного хранилища с указанием подсети 10.0.20.0/24 и агрегированного интерфейса:

    • Перейти в раздел основного меню Сети - Внешние сети Web-интерфейса SpaceVM.

    • Нажать кнопку Создать.

    • На первом этапе создания сети указать название сети gluster и адрес 10.0.20.0/24.

    • На втором этапе создания сети поочередно добавить необходимые серверы, а также добавить каждому из них агрегированный интерфейс.

      Второй этап создания внешней сети
      img
    • На третьем этапе создания сети настроить VLAN, MTU, а также при необходимости настроить резервирование адресов.

    • На четвертом этапе создания сети проверить корректность параметров создаваемой сети и нажать кнопку ОК.

  2. Создать для каждого сервера внутренний интерфейс во внешней сети gluster:

    • Перейти на вкладку Подключённые серверы созданной сети gluster.

    • Поочередно выбрать каждый сервер и добавить внутренний интерфейс кнопкой

      img
      Окно создания внутреннего интерфейса внешней сети
      img
Созданная внешняя сеть
img

Cоздание кластерного транспорта Gluster

Порядок действий

Для создания кластерного транспорта необходимо:

  1. Перейти в раздел основного меню Хранилища - Кластерные хранилища - Кластерные транспорты Web-интерфейса SpaceVM.

    Кластерные транспорты
    img
  2. Нажать кнопку Создать.

    Создание кластерного транспорта
    img
  3. В открывшемся окне заполнить следующие поля:

    • Название.

    • Тип.

      Указать тип файловой системы: Gluster.

    Внимание

    В случае, если для кластерного транспорта настроена внешняя сеть, необходимо активировать опцию Выбрать внешнюю сеть и указать ее.

    Создание КТ Gluster
    img
  4. В меню Хранилища - Кластерные хранилища - Кластерные транспорты проверить правильность создания КТ.

    Информация о КТ
    img

Создание zfs-бриков

Порядок действий

На трех узлах необходимо создать три репликационного блока (брика, brick).

Два брика - для полезных данных и один брик - арбитр.

  1. Перейти в раздел основного меню Хранилища - ZFS Web-интерфейса SpaceVM, нажать кнопку Добавить ZFS и создать брик для арбитра zfs_arbiter на первом узле (два диска типа mirror с полной избыточностью; отказ одного диска не приведет к отказу брика).

    В открывшемся окне заполнить поля следующим образом:

    • Выбрать сервер.

      Указать первый узел.

    • Выбрать тип пула.

      Установить значение: mirror.

    • Выбрать локальные устройства.

    • Ввести название.

      Название арбитра: zfs_arbiter.

    • Нажать кнопку ОК.

    Пример создания zfs_arbiter
    image
  2. Нажать кнопку Добавить ZFS и создать основной брик полезных данных zfs_brick_1 на втором узле (два диска типа raidz1 по схеме 4+1; отказ одного диска не приведет к отказу брика).

    В открывшемся окне заполнить поля следующим образом:

    • Выбрать сервер.

      Указать второй узел.

    • Выбрать тип пула.

      Установить значение: raidz1.

    • Выбрать локальные устройства.

    • Ввести название.

      Название брика: zfs_brick_1.

    • Нажать кнопку ОК.

    Пример создания zfs_brick_1
    image
  3. Нажать кнопку Добавить ZFS и создать дополнительный брик полезных данных для зеркала zfs_brick_2 на третьем узле (два диска типа raidz1 по схеме 4+1; отказ одного диска не приведет к отказу брика).

    В открывшемся окне заполнить поля следующим образом:

    • Выбрать сервер.

      Указать третий узел.

    • Выбрать тип пула.

      Установить значение: raidz1.

    • Выбрать локальные устройства.

    • Ввести название.

      Название брика: zfs_brick_2.

    • Нажать кнопку ОК.

    Пример создания zfs_brick_2
  4. Перейти в раздел основного меню Хранилища - ZFS и проверить правильность создания zfs-бриков.

    Информация о zfs-бриках

Создание gluster-тома (на примере реплики с арбитром)

Порядок действий

Внимание

Не рекомендуется использование томов типа Dispersed и Distributed Dispersed в связи с потенциальной возможностью потери данных при ограждении узлов SpaceVM.

  1. Перейти в раздел основного меню Хранилища - Кластерные хранилища - Тома Web-интерфейса SpaceVM, нажать кнопку Создать и создать gluster-том.

    В открывшемся окне заполнить поля следующим образом:

    • Выбрать тип тома.

      Установить значение: Реплицированный.

    • Разделы (ZFS пулы).

      Выбрать два брика, на которых будут храниться полезные данные. Брик-арбитр не участвует.

    • Размер записи.

      Установить значение: 128 Кбайт.

    • Значение репликации тома.

      Установить значение: 2.

    • Нажать кнопку ОК.

      Пример создания тома
      image

    Внимание

    Фактически занятое на томе место зависит от типа zpool-бриков, входящих в том, и размера записи тома. Особое внимание требуется при выборе малых размеров записи во время создания томов из бриков (или содержащих хотя бы один брик) с типом raidz, raidz2 (пример в табице ниже).

    raidz1, raidz2 из 4 дисков:

    Размер записи, Кбайт

    Объём полезных данных, Мбайт

    Занятый объём, Мбайт

    8

    500

    760

    16

    500

    757

    32

    500

    574

    64

    500

    574

    128

    500

    528

  2. В разделе основного меню Хранилища - Кластерные хранилища - Тома выбрать созданный том и проверить, что он состоит из двух бриков с репликацией 2.

    Информация о томе
    img
    Информация о бриках
    img
  3. Во вкладке Разделы (ZFS пулы) добавить третий брик на третьем узле в качестве арбитра, нажав кнопку
    Добавить раздел.

    В открывшемся окне заполнить поля следующим образом:

    • Значение репликации тома.

      Установить значение: 3.

    • Наличие раздела арбитра в реплицированном томе.

      Установить значение: 1.

    • Разделы (ZFS пулы).

      Выбрать брик-арбитр.

    • Нажать кнопку ОК.

    Добавление разделов
    img
  4. Проверить успешность добавления брика. Данный брик предназначен исключительно для хранения метаданных, обеспечивающих защиту хранилищ от эффекта split-brain в случае потери работоспособности одного из узлов с полезными данными.

    Информация о разделах
    image
  5. Проверить тип бриков. Для этого необходимо во вкладке Разделы (ZFS пулы) нажать кнопку Получение расширенных сведений о томе.

    В раскрывающемся списке бриков поочередно выбрать:

    • storages/zfs/zfs_arbiter и проверить тип брика в поле type.

      Тип брика zfs_arbiter
      image

      Должно быть Arbiter.

    • storages/zfs/zfs_brick_1 и проверить тип брика в поле type.

      Тип брика zfs_brick_1
      image

      Должно быть Brick.

    Аналогично проверить storages/zfs/zfs_brick_2.

Добавление gluster-тома в пул ресурсов

Порядок действий

  1. Перейти в раздел основного меню Кластеры - Пулы ресурсов - <целевой пул ресурсов> - Пулы данных и нажать кнопку Добавить пул.

    Пулы данных
    image
  2. В открывшемся окне выбрать созданный gluster_tom и нажать кнопку ОК.

    Добавление пула данных
  3. Проверить, что пул появился в списке.

    Список пулов данных
    image
  4. Нажав на пул данных в списке, перейти к подробной информации о пуле gluster_tom. Проверить, что он доступен на всех узлах кластера.

    Информация о пуле данных
    image

По ссылкам на официальную документацию можно изучить дополнительные технические подробности и связанные настройки.