Zabbix 8.0 — релиз, в котором полностью поменялся подход к мониторингу. В платформе появился APM на базе OpenTelemetry, движок обработки сложных событий Complex Event Processing (CEP), официальный MCP Server, поддержка ClickHouse для истории и целый набор улучшений, затрагивающих эксплуатацию больших инсталляций.

Интерфейс Zabbix 8.0

Интерфейс Zabbix 8.0

Вы уже могли видеть на Хабре мои 3 предыдущие статьи, посвященные выходу нового релиза: Незначительные значительные улучшения в Zabbix 8.0, ClickHouse в Zabbix 8: как устроено хранение истории и что происходит с трендами и Как Zabbix 8.0 обрабатывает поток событий: окна, корреляция и Complex Event Processing. В этой статье я расскажу почти обо всех нововведениях, которые появились в Zabbix 8.0 и в меру возможностей расскажу с какой стороны к ним подходить. Если нет большого желания читать, то для удобства я записал и выложил на ютуб-канале вебинар, где вы можете узнать о большей части этих обновлений.

Меня зовут Антон Касимов, я работаю в Gals Software, провожу обучения по Zabbix и веду телеграм-канал Zabbix Recipes, посвященный Zabbix, где публикую анонсы вебинаров, которые провожу и делюсь опытом. В этой статье мы максимально полно охватим новый функционал в Zabbix 8.0. Расскажу о том, что появилось и об ограничениях, которые сопутствуют этим обновлениям. Поехали!

APM: Zabbix научился работать с OpenTelemetry

Самое заметное архитектурное изменение — появление APM-раздела с трейсами, метриками и логами. Zabbix теперь умеет принимать OTLP и использует привычную модель OpenTelemetry.

Схема выглядит так:

Важная деталь: OTLP/gRPC receiver работает в Zabbix Proxy. Если ранее вы не использовали Zabbix Proxy в инфраструктуре, то для сбора APM-телеметрии он всё равно понадобится. По умолчанию используется OTLP/gRPC порт 4317. OTLP/HTTP на 4318 не поддерживается.

В конфигурации Zabbix Proxy появились новые параметры:

StartAPMCollector=1
APMListenIP=0.0.0.0
APMListenPort=4317
TelemetryProvider=clickhouse;url=http://clickhouse:8123,db=zabbix,username=zabbix,password=gals

В модальном окне настроек Zabbix Proxy появилась вкладка APM. Там включается приём данных, задаётся ограничение сообщений в секунду и добавляются общие resource attributes — например, окружение или площадка. Например, атрибут deployment.environment.name=demo можно проставить на уровне Zabbix Proxy, а не во всех приложениях.

Настройки APM на Zabbix Proxy в интерфейсе Zabbix 8.0

Настройки APM на Zabbix Proxy в интерфейсе Zabbix 8.0

Что видно в интерфейсе

В главном меню появился отдельный раздел APM с тремя представлениями:

  • Traces — трейсы с количеством спанов, ошибками, длительностью и фильтрами по сервису, операции, статусу и атрибутам

  • Logs — логи, связанные с Trace ID и Span ID (если вы это заранее предусмотрели, конечно)

  • Metrics — метрики OpenTelemetry с фильтрацией по имени, типу и сервису

Фронтэнд вычитывает эти данные из БД ClickHouse. Подключение к ClickHouse настраивается отдельно от history provider (он настраивается в конфигурации Zabbix Server): задаются URL, данные для аутентификации и другие настройки.

Отображение настроек подключения к APM-datasource в Zabbix 8.0

Отображение настроек подключения к APM-datasource в Zabbix 8.0

На тестовых данных хорошо видно, что список показывает именно запрос целиком, а не набор несвязанных спанов. Красным отмечаются ошибки, а длительные трейсы выделяются по общему времени выполнения.

Отображение трейсов в интерфейсе Zabbix 8.0

Отображение трейсов в интерфейсе Zabbix 8.0

Можно открыть детальное представление дерева вызовов. На моём стенде запрос проходит через webshop-gateway, inventory-api, inventory-db и payment-service. Ошибка платёжного сервиса остаётся привязанной к конкретной операции и тому же Trace ID.

Отображение деталей трейсов в интерфейсе Zabbix 8.0

Отображение деталей трейсов в интерфейсе Zabbix 8.0

Связанный лог можно найти по Trace ID. Это эффективнее, чем искать сообщение только по времени: при параллельных запросах совпадение временного окна ещё не означает, что лог относится к нужной транзакции.

Логи APM со связью по Trace ID

Логи APM со связью по Trace ID в интерфейсе Zabbix 8.0

Метрики OpenTelemetry в Zabbix

Метрики OpenTelemetry в интерфейсе Zabbix 8.0

Telemetry query возвращает APM в обычную модель Zabbix

В интерфейсах для просмотра трейсов, логов или метрик нельзя просмотреть данные в виде графиков или создать триггеры напрямую. Для этих задач в Zabbix 8.0 появился новый тип элемента данных — Telemetry query. Он выполняет запрос к данным OpenTelemetry, агрегирует результат и сохраняет его как значение обычного элемента данных.

Пример создания Telemetry query в интерфейсе Zabbix 8.0

Пример создания Telemetry query в интерфейсе Zabbix 8.0

Практические варианты реализации настройки запросов:

  • p95 длительности операции за минуту;

  • число ошибочных спанов;

  • количество записей логов критичности Error по сервису;

  • автоматическое обнаружение сервисов через LLD и создание прототипов запросов.

После создания такого элемента данных (в рамках узла, разумеется), действуют обычные механизмы Zabbix: история, графики, вычисляемые выражения, триггеры, действия и эскалации. Самое главное — действует ролевая модель Zabbix. То есть APM не существует как отдельный остров — агрегации из него можно включить в уже работающие процессы мониторинга. Например, можно заменить встроенные в Zabbix с незапамятных времен проверки log[*] или logrt[*].

Отдельно замечу, что на раздел APM ролевая модель Zabbix не распространяется и кто угодно с доступом к этому разделу меню может вволю насладиться данными телеметрии. Если нужно, отключить отображение раздела APM можно через роль пользователя.

Запросы к телеметрии нужно настраивать аккуратно. Granularity задаёт размер интервала агрегации, Time shift оставляет запас для запаздывающих батчей, а Lookback limit определяет, насколько далеко можно догонять пропущенные интервалы. Слишком маленький сдвиг способен дать неполный p95, а обычный count по таблице traces посчитает отдельный спан, а не уникальные пользовательские операции.

Что важно предусмотреть до внедрения APM

APM добавляет новый эксплуатационный контур:

  1. Приложения или OTel Collector должны видеть Zabbix Proxy по OTLP/gRPC

  2. Zabbix Proxy должен иметь прямой сетевой доступ в ClickHouse

  3. Веб-сервер Zabbix, Zabbix Server также должны иметь доступ в ClickHouse

  4. Необходимо отдельно поддерживать сам ClickHouse

  5. В атрибутах и логах могут оказаться персональные данные, токены и содержимое запросов — фильтрацию лучше делать ещё в OTEL Collector

ClickHouse: два разных сценария использования

В Zabbix 8.0 ClickHouse используется в двух независимых сценариях:

  1. Как хранилище OpenTelemetry для APM (рассмотрел в разделе выше)

  2. Как опциональный бэкэнд обычной истории элементов данных (рассмотрю в этом разделе)

Это разные настройки и разные таблицы. Для хранение данных телеметрии используются otel_traces, otel_logs и otel_metrics_*\, для хранения обычной истории Zabbix history, history_uint, history_text и другие исторические таблицы.

У себя на демо-стенде я развернул рядом с ClickHouse визуализатор ch-flow и вывел компактное представление: APM-трейсы, APM-логи и обычная числовая история. Полная схема намного шире, поэтому для иллюстрации оставлены только ключевые поля.

Схема таблиц Zabbix и APM в ClickHouse

Схема таблиц Zabbix и APM в ClickHouse

Для обычной истории backend задаётся на стороне server и frontend. Пример для Zabbix Server:

HistoryProvider=clickhouse;value_types="uint,dbl,str,log,text,json",url=http://clickhouse:8123,db=zabbix,username=zabbix,password=gals

Фронтэнд не читает HistoryProvider из zabbix_server.conf, поэтому в его zabbix.conf.php нужно независимо описать то же распределение типов через $HISTORY_PROVIDERS:

<?php
$HISTORY_PROVIDERS[] = [
    'types' => ['uint', 'dbl', 'str', 'log', 'text', 'json'],
    'provider' => 'clickhouse',
    'url' => 'http://clickhouse:8123',
    'db' => 'zabbix',
    'username' => 'zabbix',
    'password' => 'gals'
];

Массив должен совпадать с value_types на Zabbix Server. Иначе Zabbix Server будет записывать часть истории в ClickHouse, а веб-сервер попытается читать её из основной SQL-базы — или наоборот. Один и тот же тип нельзя одновременно направить в несколько провайдеров. Типы, не перечисленные во внешнем провайдере, продолжают использовать основную SQL-базу.

Поддерживаемые таблицы ClickHouse выглядят так:

Тип элемента данных

Таблица ClickHouse

Обозначение в provider

Numeric unsigned

history_uint

uint

Numeric float

history

dbl

Character

history_str

str

Log

history_log

log

Text

history_text

text

JSON

history_json

json

history_bin для бинарных значений в ClickHouse не поддерживается — такие значения нужно оставлять в основной SQL-базе. Таблицы trends и trends_uint тоже не переносятся в ClickHouse, и для типов, история которых хранится в ClickHouse, Zabbix не рассчитывает и не сохраняет тренды. Мне видятся два варианта решения этой (надеюсь, временной) проблемы: дольше хранить сырую историю в ClickHouse (и учитывать это при планировании размера диска под БД) или оставить данные типа history_uintи history в основной SQL-базе.

Как очищается история в ClickHouse

Обычный Zabbix housekeeper не удаляет строки из ClickHouse. Настройки хранения в элементах данных и глобальные overrides по-прежнему актуальны для SQL, но физический период хранения в ClickHouse определяется TTL в DDL каждой таблицы. Скрипты Zabbix задают значение TTL по умолчанию в 31 день, при первоначальном импорте вы можете его задать параметром --ttl.

Для существующей таблицы срок меняется средствами ClickHouse. Например, оставить JSON-историю на семь дней:

ALTER TABLE zabbix.history_json
MODIFY TTL clock_ns + toIntervalSecond(604800);

Новый TTL применяется асинхронно во время merge. Принудительная материализация запускает очистку сразу, но создаёт заметную нагрузку на CPU и диски, поэтому в проде крепко задумываются прежде чем её выполнять:

OPTIMIZE TABLE zabbix.history_json MATERIALIZE TTL;

TTL нужно проверить отдельно у history, history_uint, history_str, history_log, history_text и history_json. После изменения следует перезапустить Zabbix Server: он повторно прочитает metadata provider, и в Administration → Housekeeping обновится отображаемый срок хранения. Для APM-таблиц otel_traces, otel_logs и otel_metrics_* retention проектируется отдельно: TTL обычных history* на них не распространяется.

Подводя итог: полностью перейти на использование внешнего бэкэнда в виде ClickHouse или Elasticsearch не получится, hosts, items, triggers, users и остальная конфигурация по-прежнему будет лежать в PostgreSQL или MySQL.

CEP: корреляция становится обработкой потока событий

Старой глобальной корреляции событий обычно хватало для простых условий, но она плохо описывала последовательности, временные окна и группы связанных проблем. В 8.0 появился отдельный движок Complex Event Processing. К ИИ это не имеет никакого отношения, однако, механизм выглядит интересно.

Как работает CEP в Zabbix

Как работает CEP в Zabbix 8.0

CEP-правило состоит из четырёх частей:

  1. Входной фильтр выбирает события по имени, тегам, важности, host или host group

  2. Временное окно удерживает контекст от нескольких секунд до нужного периода

  3. Группировка разделяет поток по host, host group или значениям тегов

  4. Операции изменяют событие: добавляют теги, меняют критичность, подавляют симптомы, закрывают окно или создают сводный контекст

CEP полезен для следующих сценариев:

  • объединить десятки ошибок одной площадки в один инцидент

  • повысить важность проблемы, если одновременно недоступны база и пользовательский API

  • обнаружить три коротких отказа одного сервиса за десять минут

  • подавить ожидаемые события конкретного бэкап-процесса, не выключая мониторинг всего узла

  • пометить незакрывшиеся симптомы после восстановления причины

Начинать лучше с узких фильтров. Слишком общее окно по тегу service легко объединит независимые сбои разных окружений. Минимальный набор контекста обычно включает environment, site и идентификатор сервиса или тенант. Подробнее про CEP вы можете прочитать в моей предыдущей статье на Хабре.

Официальное мобильное приложение и push-уведомления

Zabbix 8.0 содержит серверную часть для мобильных устройств и новый media type Push. Между Zabbix Server и мобильным клиентом работает отдельный Bridge Adapter. Он участвует в привязке устройства, обращается к локальному API и доставляет события через центральный Zabbix Bridge.

Предварительный вид приложения:

Пример интерфейса мобильного приложения в Zabbix 8.0

Пример интерфейса мобильного приложения в Zabbix 8.0

Устройства привязываются по одноразовому QR-коду. Права на собственные и чужие устройства задаются в роли пользователя, а уведомление настраивается как обычный media type: можно отправлять его всем активным устройствам пользователя или выбранным телефонам.

Интерфейс, визуализации и переносимость дашбордов

Несколько улучшений интерфейса.

Scatter Plot

Новый виджет строит точки по двум метрикам: например, CPU по оси X и RAM по оси Y. Каждый host или временной интервал превращается в точку. Так проще увидеть кластеры и выбросы, которые теряются на временном графике.

Scatter Plot в интерфейсе Zabbix 8.0

Scatter Plot в интерфейсе Zabbix 8.0

Порог может учитывать сразу X и Y и менять цвет точки. Поддерживается интерполяция цвета — это плавное вычисление оттенка между заданными значениями: чем ближе точка к верхней границе диапазона, тем ближе её цвет к цвету этой границы. Это удобно для heatmap-подобной оценки.

Инвертированные графики

Invert values — новая опция в виджете Graph. При её активации метрика будет отображаться зеркально под осью, поэтому входящий и исходящий трафик или операции чтения и записи на диск поместятся на одном графике без перекрытия.

Инвертированные графики в интерфейсе Zabbix 8.0

Инвертированные графики в интерфейсе Zabbix 8.0

Импорт и экспорт дашбордов

Дашборды теперь можно экспортировать через фронтэнд в форматах YAML, JSON или XML.

Меню экспорта дашбордов в интерфейсе Zabbix 8.0

Меню экспорта дашбордов в интерфейсе Zabbix 8.0

Перед импортом показывается список добавляемых, обновляемых и удаляемых объектов. На другой инсталляции узел сопоставляется по техническому имени, а элемент данных — по узлу и ключу элемента данных. Если ссылка не найдена, импорт может завершиться с предупреждением и оставить виджет без привязки, поэтому зелёное сообщение ещё не означает, что дашборд полностью работоспособен.

Подтверждение импорта дашборда с указанием добавляемых, обновляемых и удаляемых объектов в интерфейсе Zabbix 8.0

Подтверждение импорта дашборда с указанием добавляемых, обновляемых и удаляемых объектов в интерфейсе Zabbix 8.0

Если при импорте какие-то объекты отсутствуют в Zabbix, то на их месте появится соответствующее предупреждение.

Предупреждение об отсутствующих элементах при импорте дашбордов в интерфейсе Zabbix 8.0

Предупреждение об отсутствующих элементах при импорте дашбордов в интерфейсе Zabbix 8.0

Настраиваемые таблицы

На страницах

  • Monitoring → Hosts

  • Monitoring → Latest data

  • Monitoring → Problems

  • Data collection → Hosts

  • Data collection → Templates

можно выбирать колонки, менять их порядок и ширину. Отдельная колонка умеет показывать значение конкретного тега или встроенного/пользовательского макроса (LLD-макросы не поддерживаются).

Добавление кастомного столбца в таблица интерфейсе Zabbix 8.0

Добавление кастомного столбца в таблица интерфейсе Zabbix 8.0

В результате вы получите свой набор столбцов, который будет удобен для просмотра. Кстати, я пробовал сюда добавить ссылку, это мне, конечно, удалось, но, к сожалению, ссылка оказалась неактивной. Возможно, в будущих релизах это поправят. А так было бы удобно.

Кастомный столбец в таблице интерфейсе Zabbix 8.0

Кастомный столбец в таблице интерфейсе Zabbix 8.0

Еще одно важное уточнение: настройка сохраняется в профиле пользователя (как и фильтры), поэтому централизованно её раздать нельзя.

GeoMap clustering и наследуемые теги

GeoMap группирует близкие узлы в кластеры до заданного масштаба. В больших инсталляциях это заметно упрощает поиск источника маршрутизации уведомления. Метки на карте будет менять цвета в зависимости от критичности триггера.

Кластеризация меток на географической карте в интерфейсе Zabbix 8.0

Кластеризация меток на географической карте в интерфейсе Zabbix 8.0

Наследуемые теги

У наследуемых тегов появился визуальный индикатор в виде иконки листочка. Сразу видно, пришёл тег с шаблона, глобального уровня или добавлен локально.

Наследование тегов в интерфейсе Zabbix 8.0

Наследование тегов в интерфейсе Zabbix 8.0

Добавление тегов к LLD-триггерам

В новой версии Zabbix также появилась возможно навешивать теги к триггерам, которые были обнаружены правилами низкоуровнего обнаружения (LLD). Например, может пригодиться, если нужно дополнительно что-то добавить для более точной работы действий (оповещений).

Добавление тегов к LLD-триггерам в интерфейсе Zabbix 8.0

Добавление тегов к LLD-триггерам в интерфейсе Zabbix 8.0

Теги прототипа триггера продолжат наследоваться автоматически, а вручную добавленные теги сохранятся на конкретном обнаруженном триггере и могут быть использоваеы как теги события, при фильтрации в представлении и для виджетов.

Использовать это как массовую настройку не стоит: при сотнях исключений конфигурация станет непрозрачной.

Новая тема Dark blue

Тема разработана таким образом, чтобы на больших экранах в центрах мониторинга не возникало бликов, при этом обеспечивая читаемость по сравнению с чисто чёрной темой.

Новая тема Dark blue в интерфейсе Zabbix 8.0

Новая тема Dark blue в интерфейсе Zabbix 8.0

Безопасность и делегирование: меньше неявных полномочий

HashiCorp Vault: AppRole вместо токена

В Zabbix 8.0 появилась поддержка HashiCorp Vault AppRole. Вместо долгосрочного токена можно использовать Role ID и Secret ID. Для подключения к HashiCorp Vault ранее требовался статический токен как для Zabbix Server/Proxy так и для веб-сервера. В итоге теперь они все запрашивают токен самостоятельно. Для команды безопасности это приемлемый способ выдачи Zabbix идентификатора с ограниченной политикой и ротации секретного идентификатора вместо долгосрочного токена в файле. Пример конфигурации в Zabbix Server:

Vault=HashiCorp
VaultURL=https://vault.example.com:8200
VaultDBPath=secret/zabbix/db
VaultAppRoleID=8a1c2f7e-0b3d-4c5e-9f10-1a2b3c4d5e6f
VaultAppSecretID=...

Отключение доступа через API по умолчанию

Для новых ролей пользователей , включая роль супер администратора, доступ к API теперь отключен. После включения API нужно также разрешить отдельные методы. Для старых ролей при обновлении совместимость сохраняется, но маску разумно заменить явным allow list.

Доступ пользователей к Zabbix Proxy и группам прокси

Раньше разрешения на группы узлов не позволяли полноценно ответить на вопрос: какие Zabbix Proxy пользователь вообще имеет право выбирать в конфигурации. В 8.0 у групп пользователей появилась вкладка Proxy access list. На ней независимо задаются allow/deny list для одиночных Zabbix Proxy и группам прокси.

Списки доступа к proxy и proxy groups

Списки доступа к Zabbix Proxy и группам прокси в интерфейсе Zabbix 8.0

Здесь есть несколько правил:

  • Zabbix Proxy, входящий в группу прокси, разрешается или запрещается через группу, а не как отдельный Zabbix Proxy

  • Allow lists нескольких групп пользователей суммируются

  • Deny имеет приоритет над allow, поэтому членство пользователя ещё в одной группе способно закрыть доступ

  • Пустой allow list означает отсутствие доступа к объектам соответствующего типа

Отдельное право в рамках роли Select “server” for monitoring and discovery управляет возможностью назначить узел непосредственно на Zabbix Server, создать правило сетевого обнаружения, выполняемое сервером, и тестировать элемент данных через Zabbix Server. Так можно заставить операторов использовать только выделенные Zabbix Proxy своего сегмента и не превращать Zabbix Server в универсальную точку опроса.

Select “server” for monitoring and discovery в настройке роли в интерфейсе Zabbix 8.0

Select “server” for monitoring and discoveryв настройке роли в интерфейсе Zabbix 8.0

$ZBX_FEATURE_FLAGS: отключение отдельных интерфейсов

Переменная $ZBX_FEATURE_FLAGS задаётся в конфиге фронтэнда zabbix.conf.php и предназначена для управления отдельными интерфейсами. В актуальной документации 8.0 предусмотрены четыре настройки:

<?php
$ZBX_FEATURE_FLAGS['banners_enabled'] = false;
$ZBX_FEATURE_FLAGS['http_auth_enabled'] = false;
$ZBX_FEATURE_FLAGS['modules_config_enabled'] = false;
$ZBX_FEATURE_FLAGS['media_type_denylist'] = [
    'script',
    'webhook',
    'push'
];
  • banners_enabled=false отключает поддержку баннеров во фронтэнде;

  • http_auth_enabled=false закрывает конфигурацию HTTP-аутентификации и заменяет старую переменную $ALLOW_HTTP_AUTH;

  • modules_config_enabled=false запрещает управление модулями фронтэнда;

  • media_type_denylist запрещает редактирование media types с указанным способом доставки: email, script, sms, webhook или push.

В официальном Docker-образе те же параметры передаются environment variables. Например:

services:
  zabbix-web:
    environment:
      ZBX_HTTP_AUTH_ENABLED: "false"
      ZBX_MODULES_CONFIG_ENABLED: "false"
      ZBX_MEDIA_TYPE_DENYLIST: '["script","webhook"]'

На стенде я временно установил ZBX_MODULES_CONFIG_ENABLED=false, соответствующтй раздел пропал. Затем я попробовал открыть zabbix.php?action=module.list через пользователя уровня Super admin и получил Access denied (ожидаемое поведение).

Отключение интерфейса Modules в интерфейсе Zabbix 8.0

Отключение интерфейса Modules в интерфейсе Zabbix 8.0

Раздел Modules отключён через feature flag

Отключение раздела Modules feature flag в интерфейсе Zabbix 8.0

В итоге Feature flag действует на весь фронтэнд, а не только на конкретную роль.

Ad-hoc maintenance и история подавления

В Zabbix 8.0 переводить узлы в режим обслуживания можно прямо из открытой проблемы. Это сокращает путь от принятия проблемы до фактического её решения.

Возможность создания правила обслуживания из контекстного меню события в интерфейсе Zabbix 8.0

Возможность создания правила обслуживания из контекстного меню события в интерфейсе Zabbix 8.0

В качестве области действия фронтэнд подставляет узел, имя триггера, имя события или теги выбранного события, а оператор задаёт период действия режима обслуживания.

Область действия режима обслуживания и другие настройки в интерфейсе Zabbix 8.0

Область действия режима обслуживания и другие настройки в интерфейсе Zabbix 8.0

Само подавление стало заметнее в расследовании. Включение и отключение подавления события, выполненные через режим обслуживания или вручную, записываются в история события. Поэтому по карточке события можно понять не только когда проблема появилась и закрылась, но и почему она временно исчезла из активной очереди уведомлений. Режим обслуживания не удаляет событие и не останавливает сбор данных — он управляет обработкой и видимостью проблемы в заданном временном окне.

SAML-сертификаты в базе данных

SAML-сертификаты теперь можно хранить не только среди файлов фронтэнда, но и в базе данных. Для нескольких веб-узлов это устраняет расхождение локальных копий и упрощает замену сертификата: все экземпляры читают одно значение. Режим выбирается через $SSO['CERT_STORAGE']; файловый вариант остаётся доступным для инсталляций, где приватный ключ принципиально не должен попадать в базу данных.

Это не делает SAML автоматически безопасным: доступ к резервной копии базы данных и права на zabbix.conf.phpвсе равно остаются частью модели угроз. После переключения нужно проверить вход и выход через каждую ноду фронтэнда, а также процедуру роллбэка до истечения старого сертификата.

AllowKeyRegexp и DenyKeyRegexp для Zabbix Agent и Zabbix Agent 2

Старые AllowKey/DenyKey поддерживают маски, но ими неудобно точно описывать допустимые параметры ключа. В Zabbix 8.0 Zabbix Agent и Zabbix Agent 2 получили возможность использования регулярных выражений:

# Разрешить чтение только двух свойств одного файла.
AllowKeyRegexp=^vfs\.file\.(contents|size)\[/var/log/myapp/app\.log\]$

# Разрешить два заранее определённых system.run.
AllowKeyRegexp=^system\.run\[/usr/bin/(uptime|df -h /)\]$

# Запретить остальные обращения к vfs.file.
DenyKeyRegexp=^vfs\.file\..*\[.*\]$

Правила обрабатываются сверху вниз, и срабатывает первое совпадение. Поэтому общий deny, поставленный перед частным allow, перекроет разрешение. Количество правил не ограничено, однако aZabbix Agent и Zabbix Agent 2 используют разные реализации регулярных выражений — сложный шаблон нужно проверять именно тем бинарником, который работает на узле:

zabbix_agent2 -t 'vfs.file.size[/var/log/myapp/app.log]'
zabbix_agent2 -t 'vfs.file.contents[/etc/passwd]'

system.run по-прежнему запрещён по умолчанию.

Zabbix MCP Server: AI не должен быть суперпользователем

Официальный MCP Server — отдельный сервис, который переводит запросы AI-ассистента в ограниченный набор операций Zabbix API.

Схема безопасности Zabbix MCP Server

Схема безопасности Zabbix MCP Server

Практически это выглядит так:

  • AI получает список узлов, шаблонов, триггеров, проблем, правил обслуживания и данные истории

  • разрешённые сценарии записи позволяют принимать события (acknowledge), добавить комментарий, изменить критичность, включить/отключить подавление события или управлять окнами обслуживания

  • AllowTool и DenyTool ограничивают права MCP;

  • API-токен принадлежит отдельному пользователю Zabbix, поэтому действуют его права на API методы и разрешения по доступу к узлам

Я бы не стал подключать MCP с токеном супер администратора. Нормальный старт — отдельный сервисный пользователь, доступ к API с правами только для чтения, закрытый список AllowedIP, TLS и явное включение только нескольких нужных тулзов.

Эксплуатационные улучшения, которые легко пропустить

Крупные функции получают больше внимания, но именно следующие изменения могут заметно повлиять на ежедневную эксплуатацию большой инсталляции.

Глобальные регулярные выражения стали управляемее

Форма глобальных регулярных выражений теперь открывается в модальном окне, получила поле Description, а тестирование перенесено в ту же форму. Названия типов выражений стали понятнее: например, Result is TRUE переименован в Matches regular expression, а Character string included — в Contains string.

Список фильтруется по имени и описанию. Главное для сопровождения — глобальные регулярки теперь экспортируются и импортируются в YAML, JSON или XML. Перед импортом фронтэнд показывает различия добавляемых и изменяемых объектов. Это позволяет хранить общие фильтры LLD в Git и одинаково разворачивать их на нескольких инсталляциях.

Глобальные регулярные выражения в Zabbix 8.0

Глобальные регулярные выражения в интерфейсе Zabbix 8.0

Пример экспортируемого объекта:

zabbix_export:
  version: '8.0'
  global_regexes:
    - name: Network interfaces for discovery
      description: Exclude loopback and null interfaces
      expressions:
        - type: NOT_MATCHES_REGEX
          expression: '^(lo|Loopback|NULL)[0-9.]*$'
          case_sensitive: 'NO'

После импорта нужно тестировать выражение на реальных именах: ошибка в глобальных регулярках способна одновременно удалить сотни обнаруженных объектов.

Zabbix Server запускается быстрее

При старте Zabbix Server восстанавливает контекст триггерных функций: ему нужны последние значения элементов данных, чтобы корректно продолжить вычисление триггеров. Раньше необходимые значения загружались из базы данных по одному элементу данных. В Zabbix 8.0 история читается пакетно сразу для множества элементов данных.

Ускорение относится ко всем поддерживаемым history provider и особенно заметно на больших конфигурациях после плановой перезагрузки. На практике мне пока не удалось проверить это на большой инсталляции, но как только будет такая возможность, обязательно об этом напишу.

Elasticsearch: меньше запросов и повторное использование соединений

Elasticsearch перестал считаться экспериментальным хранилищем, теперь поддерживаются ветки 8.x и 9.x, а минимальная версия поднята до 8.0. Zabbix Server теперь:

  • получает данные без scroll API там, где он не нужен

  • повторно использует уже открытые HTTP-соединения

  • корректнее обрабатывает параллельные запросы через cURL multi-handle и не должен зависать при нескольких одновременных чтениях.

Новая конфигурация history provider выглядит так:

HistoryProvider=elasticsearch;value_types="uint,dbl,log,text,json",url=https://es-history:9200,username=zabbix,password=gals

Старые параметры HistoryStorageURL, HistoryStorageTypes и HistoryStorageDateIndex устарели, смешивать их с HistoryProvider нельзя. Перед обновлением нужно проверить версию кластера: Zabbix 8.0 не стартует с Elasticsearch версии ниже 8.0, и AllowUnsupportedDBVersions это ограничение не обходит.

Ограничение нагрузки от proxy во время восстановления history cache

Когда Zabbix Proxy быстрее присылают историю, чем Zabbix Server успевает её записать в базу данных, заполнение кэша истории способно войти в цикл: принять большой батч с данными, снова заполниться и опять остановить приём. В Zabbix 8.0 защита от такой цикличности работает ступенчато:

Заполнение history cache

Режим

Поведение server

выше 60%, но ещё не достигло 80%

Normal

откладывает Zabbix Proxy, данные которого были обрезаны лимитом на загрузку; остальные продолжает принимать

достигло 80%

Wait

прекращает принимать данные от Zabbix Proxy и формирует приоритетный лист ограничений

упало ниже 60% после Wait

Throttling

возобновляет приём от Zabbix Proxy по очереди, но проблемные загрузки может продолжать откладывать

упало ниже 20%

Normal

очищает лист ограничений и возвращает обычный режим

Для наблюдения за кэшом истории есть внутренний элемент данных:

zabbix[wcache,history,pused]

Если утилизация кэша истории регулярно достигает 80%, нужно искать узкое место в базе данных, синхронизаторах истории или диске.

Housekeeper: постановка задач перенесена в триггеры базы данных

При удалении элементов данных, правил LLD, триггеров, сервисов и правил сетевого обнаружения задачи по очистке теперь заносятся в триггеры базы данных, а не выполняются отдельными вызовами из Zabbix. Это сокращает накладные расходы и делает отложенную очистку эффективнее.

Кроме того, housekeeper теперь удаляет связанные события для исчезнувших обнаруженных узлов и все события, связанные с удалёнными триггерами. Раньше такие записи удалялись по истечению общего срока хранения.

Практические оговорки:

  • оптимизация не означает мгновенного уменьшения файла размера базы данных

  • Параметры MaxHousekeeperDelete и HousekeepingFrequency не потеряли своей актуальности

  • встроенный housekeeper не удаляет данные из ClickHouse — период там настраивается при помощи TTL средствами самого ClickHouse

  • при использовании TimescaleDB историю и тренды лучше удалять через удаление чанков

Условие Proxy group в сетевом обнаружении и правилах авторегистрации активных агентов

В действиях сетевого обнаружения и авторегистрации активных агентов появилось условие Proxy group. Оно удобно, когда один и тот же шаблон именования используется на разных площадках, но узлы должны попадать в разные группы или получать разные шаблоны.

Пример логики авторегистрации:

Condition A: Proxy group equals Branches-1
Condition B: Host metadata contains linux

Operations:
  Add host
  Add to host group: Branches-1/Linux
  Link template: Linux by Zabbix agent active

Условие проверяет группу прокси, через которую пришло событие.

LLD HTTP: конвертация в формат JSON и вложенное обнаружение

Для элементов данных с типом HTTP-agent появился флаг Convert to JSON. Он упаковывает результат HTTP-запроса в JSON-объект до момента предобработки.

Конвертация ответа от элемента типа HTTP-агент в формат JSON в интерфейсе Zabbix 8.0

Конвертация ответа от элемента типа HTTP-агент в формат JSON в интерфейсе Zabbix 8.0

Упрощённый результат выглядит так:

{
  "header": {
    "content-type": "application/json",
    "x-request-id": "4c1f..."
  },
  "body": {
    "nodes": [
      {"id": "node-1", "role": "data"},
      {"id": "node-2", "role": "manager"}
    ]
  },
  "status": 200
}

После этого в предобработке можно строить выражения от $.body.nodes[*], не склеивая заголовки и тело запроса вручную.

Во вложенных правилах LLD макросы родительского правила обнаружения теперь поддерживаются в параметрах шага предобработки типа JSONPath. Например, родитель обнаружил cluster {#CLUSTER_ID}, а вложенное правило может обратиться к конкретной ветке ответа:

$.clusters[?(@.id == "{#CLUSTER_ID}")].nodes[*]

Это уменьшает количество шагов препроцессинга типа JavaScript (или позволяет полностью от них отказаться), но требует аккуратно экранировать значения: идентификатор, содержащий кавычку, способен сломать всю конструкцию JSONPath.

Экспорт audit log в CSV

В Reports → Audit log появилась кнопка Export to CSV. Экспортируются записи со всех страниц, но с учётом текущего фильтра и выбранного временного окна. Это удобно для разбора изменений, передачи выборки службе безопасности и приложения к отчёту по инциденту.

Экспорт журнала аудита в CSV

Экспорт журнала аудита в CSV в интерфейсе Zabbix 8.0

CSV не заменяет централизованную работу с аудит-логами, файл является разовой выгрузкой. Для регулярной аналитики лучше забирать данные аудита через API или базу данных в соответствии с процессом, принятым в вашей организации.

Функции jsonpath(), xmlxpath(), contains() и substring() в выражениях

Здесь важно не смешивать два семейства функций.

Новые функции истории jsonpath() и xmlxpath() выполняют запрос над каждым значением истории за период, возвращают массив найденных значений и используются вместе с функциями агрегации. Например, следующий триггер сработает, если хотя бы одно время ответа за пять минут превысило 500 мс:

max(jsonpath(/API/http.response,5m,"$.response_time")) > 500

Аналогичный пример для XML:

max(xmlxpath(/Legacy API/xml.response,5m,"/response/response_time")) > 500

Если хотя бы одно выбранное значение содержит некорректный JSON/XML или выражение неверно, функция завершится ошибкой. Для XML Zabbix должен быть собран с libxml.

Строковые функции contains() и substring() работают с результатом другой функции. contains() возвращает 1 при наличии case-sensitive substring, а substring() извлекает заданное число символов с позиции, нумерация которой начинается с 1:

contains(last(/Application/app.status),"DEGRADED") = 1
substring(last(/Application/build.id),1,7) <> "release"

Все эти функции могут использовать в триггерах или вычисляемых элементах данных.

Кэширование EngineID для SNMPv3

До защищённого запроса по протоколу SNMPv3 обычно нужно выяснить выяснить EngineID устройства. При большом количестве интерфейсов эти запросы/ответы создают лишний трафик и задержку. В Zabbix 8.0 появилась возможность кэширования соответствия EngineID → IP и повторного использования EngineID при следующих проверках.

Настраивать отдельный параметр для этого не требуется. Эффект лучше всего виден на нагруженных SNMP-поллерах и при запросах массива данных: уменьшается количество обменов данными перед GET/WALK-запросами.

Несколько узлов PostgreSQL

В DBHost Zabbix Proxy и Zabbix Server теперь можно указать список узлов баз данных. Приложение последовательно проверит адреса и выберет куда можно выполнять запросы на чтение/запись:

DBHost=pg-a.internal:5432,pg-b.internal:5432,pg-c.internal:5432
DBName=zabbix
DBUser=zabbix
DBPassword=gals

Та же строка поддерживается фронтэндом. Это упрощает подключение к Patroni (или другому аналогичному решению) без отдельного необходимости поднимать отдельный балансировщик. Все адреса должны иметь корректные TLS-сертификаты, DNS-имена и одинаковые логины/пароли. Порядок определяет приоритет попыток, а не балансировку между указанными нодами.

Новый тип значения JSON

Отдельный тип JSON хранит документ нативно, принимает до 128 Мб вместо прежнего лимита Text в 64 Кб и отклоняет синтаксически некорректный JSON.

Тип поддерживается всеми элементами данных и прототипами, кроме вычисляемых элементов, доступен в настройках коннектора при экспорте данных, например, в Kafka. Хранить JSON можно:

  • в основной базе данных MySQL/MariaDB/Percona

  • в PostgreSQL, включая TimescaleDB

  • во внешнем Elasticsearch

  • во внешнем ClickHouse

  • во базе данных SQLite Zabbix Proxy до передачи значений на Zabbix Server

Для ClickHouse верхний уровень должен быть объектом или потоком объектов: JSON массив как самостоятельное значение ClickHouse не примет. Для TimescaleDB после обновления нужно вручную создать гипертаблицу history_json. В MySQL/MariaDB крупная history_json быстро увеличивает время работы housekeeper, поэтому документация и здравый смысл в голос рекомендуют рассмотреть партиционирование. В Elasticsearch и ClickHouse тип json должен быть явно включён в соответствующий history provider.

JSON item нельзя использовать непосредственно в выражениях триггера или вычисляемом элементе данных. Для больших JSON также нужно убедиться, что база данных не имеет ограничения по приему таких пактов. Лимит 128 Мб — технический максимум одного значения, а не рекомендация по постоянной эксплуатации (не увлекайтесь).

net.if.get: один главный элемент данных вместо множества опросов

Новый ключ для Linux-агентов Zabbix Agent и Zabbix Agent 2 возвращает JSON по всем интерфейсам, совпавшим с регуляркой:

net.if.get[^(lo|docker|veth)]

Ответ содержит массивы config и values: имена, aлиасы, MAC-адреса, типы, скорость, настройки дуплекса, входящие и исходящие байты/пакеты/ошибки/дропы. Его удобно использовать как главный элемент данных для зависимого правила обнаружения или для зависимых прототипов элементов данных.

В отличие от net.if.discovery, новый ключ возвращает не только список имён. Выигрыш — один системный вызов вместо отдельных запросов для каждого счётчика. Поддерживается на Linux, а старый ключ оставлен для совместимости.

Пустой Allowed hosts у элемента trapper теперь означает deny all

Для Zabbix trapper и HTTP-агента с опцией Enable trapping default поля Allowed hosts теперь равен {$TRAPPER.ALLOWED_HOSTS}. Если макрос разворачивается в пустую строку, Zabbix отклоняет все входящие подключения. Б - безопасность.

На шаблонах стоит задать макрос явно:

{$TRAPPER.ALLOWED_HOSTS}=127.0.0.1,::1,10.20.30.0/24,sender.internal

После обновления вы можете столкнуться с потенциальной проблемой сбора данных, поэтому советую проверить все такие элементы данных: пустое поле может остановить прием данных от zabbix_sender или history.push. Не стоит ставить 0.0.0.0/0 ради быстрого исправления — лучше перечислить явно кому разрешено отправлять данные.

Сервер, прокси и агент могут разрешать DNS-запросы через библиотеку c-ares с кэшированием и переключением между резолверами (опция сборки, также доступная для агента Windows). Сбой или замедление работы одного из DNS-серверов больше не приводит к остановке опроса хостов, настроенных по имени.

Отдельно стоит проверить новые templates. Обновление Zabbix не перезаписывает уже импортированные шаблоны. Новые версии нужно импортировать осознанно, сравнив macros, items, triggers и собственные изменения.

Также Zabbix 8.0 получил новые шаблоны и обновления существующих. Более подробно это лучше изучить в документации.

Итоги

Zabbix 8.0 расширяет границы продукта сразу в двух направлениях. С одной стороны, он становится ближе к observability-платформам благодаря OpenTelemetry и ClickHouse. С другой — усиливает свою традиционную сторону: мониторинг инфраструктуры, обработку событий, обслуживание, шаблоны и эксплуатацию распределённого мониторинга.

Больше всего мне понравились три вещи:

  1. Telemetry query связывает APM с обычными элементами данных и триггерами, а не оставляет APM каким-то отдельным участком.

  2. CEP позволяет формализовать логику обработки потока событий, хотя качество результата полностью зависит от тегов и модели группировки.

  3. MCP Server даёт контролируемый интерфейс для AI и простой способ взаимодействия с Zabbix.

Если вы уже тестировали Zabbix 8.0, напишите в комментариях, какая функция показалась для вас наиболее важной: APM, CEP, ClickHouse, мобильное приложение, MCP или что-то еще.