В данной статье описана процедура развертывания высокодоступного распределённого хранилищадля хранения дисков, ISO-образов и резервных копий виртуальных машин на локальных накопителях серверов с использованием кластерной файловой системы GlusterFS в инфраструктуре SpaceVM.
Предлагаемое техническое решение обеспечивает устойчивость к одновременному отказу отдельного сервера в кластере, одиночного жесткого диска внутри репликационного блока («брика») на отдельном узле, а также одного сетевого коммутатора без риска утраты данных и прерывания функционирования виртуальных машин в кластере.
Приведенный пример демонстрирует создание пула данных с доступным объемом около 3,5 Гбайт. В реальных условиях объем можно масштабировать, например, до 3,5 Тбайт полезного пространства.
Планирование серверов и дисков
Организация узлов и дисков в кластере
Данное решение предназначено для функционирования в кластере от трёх узлов. Один или два сервера могут выступать в роли Controller+Node. При настройке репликации назначение ролей Master и Slave контроллеру выполняется в соответствии с разделом.
Для организации хранилища потребуется следующее оборудование:
По десять одинаковых SSD-дисков объёмом от 1 ТБайт каждый — предназначены для хранения данных виртуальных машин.
Два SSD-диска от 128 ГБайт — предназначены для хранения метаданных (для раздела арбитра).
При этом пять дисков подключаются к каждому из двух произвольных узлов кластера, а оставшиеся два диска — к третьему произвольно выбранному узлу.
Планирование сетевой инфраструктуры
Организация сетевой инфраструктуры
В файловой системе GlusterFS одна и та же сеть применяется одновременно для передачи служебной информации, обмена данными между блоками (bricks) тома и доступа клиентов (например, виртуальных машин), если клиентские машины расположены на другом физическом сервере относительно самого хранилища.
Общие рекомендации
Пропускная способность сети для повышения производительности кластера — от 10 Гбит/с.
Два от 10G-коммутатора:
основной;
резервный.
Два от 1G-коммутатора:
для встроенной сети управления mgmt SpaceVM;
резервный.
Дополнительно на основном от 1G-коммутаторе создать:
внешнюю сеть для переноса ВМ и дисков в отдельном VLAN;
внешнюю сеть для трафика ВМ и дисков в отдельном VLAN.
Рекомендуемая схема сетевой инфраструктуры
Использование двух 10G-коммутаторов
Возможно использование только двух 10G-коммутаторов (основного и резервного). Но при этом необходимо создать следующие сети:
встроенную сеть управления mgmt в отдельном VLAN;
внешнюю сеть для КТ Gluster в отдельном VLAN;
внешнюю сеть для переноса ВМ и дисков в отдельном VLAN;
внешнюю сеть для трафика ВМ и дисков в отдельном VLAN.
Cоздание агрегированных интерфейсов и внешней сети
Порядок действий
Создать на контроллере внешнюю сеть gluster для подключения кластерного хранилища с указанием подсети 10.0.20.0/24 и агрегированного интерфейса:
Перейти в раздел основного меню Сети - Внешние сети Web-интерфейса SpaceVM.
Нажать кнопку Создать.
На первом этапе создания сети указать название сети gluster и адрес 10.0.20.0/24.
На втором этапе создания сети поочередно добавить необходимые серверы, а также добавить каждому из них агрегированный интерфейс.
Второй этап создания внешней сети
На третьем этапе создания сети настроить VLAN, MTU, а также при необходимости настроить резервирование адресов.
На четвертом этапе создания сети проверить корректность параметров создаваемой сети и нажать кнопку ОК.
Создать для каждого сервера внутренний интерфейс во внешней сети gluster:
Перейти на вкладку Подключённые серверы созданной сети gluster.
Поочередно выбрать каждый сервер и добавить внутренний интерфейс кнопкой
Окно создания внутреннего интерфейса внешней сети
Созданная внешняя сеть
Cоздание кластерного транспорта Gluster
Порядок действий
Для создания кластерного транспорта необходимо:
Перейти в раздел основного меню Хранилища - Кластерные хранилища - Кластерные транспорты Web-интерфейса SpaceVM.
Кластерные транспорты
Нажать кнопку Создать.
Создание кластерного транспорта
В открывшемся окне заполнить следующие поля:
Название.
Тип.
Указать тип файловой системы: Gluster.
Внимание
В случае, если для кластерного транспорта настроена внешняя сеть, необходимо активировать опцию Выбрать внешнюю сеть и указать ее.
Создание КТ Gluster
В меню Хранилища - Кластерные хранилища - Кластерные транспорты проверить правильность создания КТ.
Информация о КТ
Создание zfs-бриков
Порядок действий
На трех узлах необходимо создать три репликационного блока (брика, brick).
Два брика - для полезных данных и один брик - арбитр.
Перейти в раздел основного меню Хранилища - ZFS Web-интерфейса SpaceVM, нажать кнопку Добавить ZFS и создать брик для арбитра zfs_arbiter на первом узле (два диска типа mirror с полной избыточностью; отказ одного диска не приведет к отказу брика).
В открывшемся окне заполнить поля следующим образом:
Выбрать сервер.
Указать первый узел.
Выбрать тип пула.
Установить значение: mirror.
Выбрать локальные устройства.
Ввести название.
Название арбитра: zfs_arbiter.
Нажать кнопку ОК.
Пример создания zfs_arbiter
Нажать кнопку Добавить ZFS и создать основной брик полезных данных zfs_brick_1 на втором узле (два диска типа raidz1 по схеме 4+1; отказ одного диска не приведет к отказу брика).
В открывшемся окне заполнить поля следующим образом:
Выбрать сервер.
Указать второй узел.
Выбрать тип пула.
Установить значение: raidz1.
Выбрать локальные устройства.
Ввести название.
Название брика: zfs_brick_1.
Нажать кнопку ОК.
Пример создания zfs_brick_1
Нажать кнопку Добавить ZFS и создать дополнительный брик полезных данных для зеркала zfs_brick_2 на третьем узле (два диска типа raidz1 по схеме 4+1; отказ одного диска не приведет к отказу брика).
В открывшемся окне заполнить поля следующим образом:
Выбрать сервер.
Указать третий узел.
Выбрать тип пула.
Установить значение: raidz1.
Выбрать локальные устройства.
Ввести название.
Название брика: zfs_brick_2.
Нажать кнопку ОК.
Пример создания zfs_brick_2
Перейти в раздел основного меню Хранилища - ZFS и проверить правильность создания zfs-бриков.
Информация о zfs-бриках
Создание gluster-тома (на примере реплики с арбитром)
Порядок действий
Внимание
Не рекомендуется использование томов типа Dispersed и Distributed Dispersed в связи с потенциальной возможностью потери данных при ограждении узлов SpaceVM.
Перейти в раздел основного меню Хранилища - Кластерные хранилища - Тома Web-интерфейса SpaceVM, нажать кнопку Создать и создать gluster-том.
В открывшемся окне заполнить поля следующим образом:
Выбрать тип тома.
Установить значение: Реплицированный.
Разделы (ZFS пулы).
Выбрать два брика, на которых будут храниться полезные данные. Брик-арбитр не участвует.
Размер записи.
Установить значение: 128 Кбайт.
Значение репликации тома.
Установить значение: 2.
Нажать кнопку ОК.
Пример создания тома
Внимание
Фактически занятое на томе место зависит от типа zpool-бриков, входящих в том, и размера записи тома. Особое внимание требуется при выборе малых размеров записи во время создания томов из бриков (или содержащих хотя бы один брик) с типом raidz, raidz2 (пример в табице ниже).
raidz1, raidz2 из 4 дисков:
Размер записи, Кбайт
Объём полезных данных, Мбайт
Занятый объём, Мбайт
8
500
760
16
500
757
32
500
574
64
500
574
128
500
528
В разделе основного меню Хранилища - Кластерные хранилища - Тома выбрать созданный том и проверить, что он состоит из двух бриков с репликацией 2.
Информация о томе
Информация о бриках
Во вкладке Разделы (ZFS пулы) добавить третий брик на третьем узле в качестве арбитра, нажав кнопку Добавить раздел.
В открывшемся окне заполнить поля следующим образом:
Значение репликации тома.
Установить значение: 3.
Наличие раздела арбитра в реплицированном томе.
Установить значение: 1.
Разделы (ZFS пулы).
Выбрать брик-арбитр.
Нажать кнопку ОК.
Добавление разделов
Проверить успешность добавления брика. Данный брик предназначен исключительно для хранения метаданных, обеспечивающих защиту хранилищ от эффекта split-brain в случае потери работоспособности одного из узлов с полезными данными.
Информация о разделах
Проверить тип бриков. Для этого необходимо во вкладке Разделы (ZFS пулы) нажать кнопку Получение расширенных сведений о томе.
В раскрывающемся списке бриков поочередно выбрать:
storages/zfs/zfs_arbiter и проверить тип брика в поле type.
Тип брика zfs_arbiter
Должно быть Arbiter.
storages/zfs/zfs_brick_1 и проверить тип брика в поле type.
Тип брика zfs_brick_1
Должно быть Brick.
Аналогично проверить storages/zfs/zfs_brick_2.
Добавление gluster-тома в пул ресурсов
Порядок действий
Перейти в раздел основного меню Кластеры - Пулы ресурсов - <целевой пул ресурсов> - Пулы данных и нажать кнопку Добавить пул.
Пулы данных
В открывшемся окне выбрать созданный gluster_tom и нажать кнопку ОК.
Добавление пула данных
Проверить, что пул появился в списке.
Список пулов данных
Нажав на пул данных в списке, перейти к подробной информации о пуле gluster_tom. Проверить, что он доступен на всех узлах кластера.
Информация о пуле данных
По ссылкам на официальную документацию можно изучить дополнительные технические подробности и связанные настройки.
Комментарии 0