Всё началось с простой задачи: «Давай перенесём два стека Docker в новый контейнер LXC». А закончилось долгой ночью, в течение которой я находил и исправлял проблемы, которые стоило заметить гораздо раньше. К утру у меня был Git-сервер без спам-аккаунтов, WAF, который наконец видел реальные IP-адреса атакующих, проверка доступа по модели Zero Trust для инструментов администрирования и ни одного открытого веб-порта на домашнем подключении.
В этой статье я расскажу обо всём примерно в том порядке, в котором происходили события. Ошибки тоже не буду скрывать. Если у вас похожая домашняя инфраструктура, вполне возможно, что хотя бы одна из этих проблем знакома и вам.
С чего всё начиналось
Моя домашняя лаборатория работает на одном узле Proxmox с несколькими контейнерами Debian LXC. В каждом запущен Docker, а стеками в каталоге /opt/stacks управляет Dockge. За хранение данных отвечает TrueNAS SCALE. Доступ из интернета был организован так:
DNS на Cloudflare. Для всех доменных имён включено проксирование через Cloudflare (то самое «оранжевое облако»), а записи указывают на DDNS-имя, связанное с моим домашним IP-адресом.
На MikroTik настроен проброс портов 80 и 443 на NPMplus (форк Nginx Proxy Manager от ZoeyVid), где работают CrowdSec и его WAF AppSec.
Через небольшой Cloudflare Tunnel опубликовано несколько панелей администрирования, доступ к которым защищён Cloudflare Access.
Всё работало. Вот только с безопасностью дела обстояли не так хорошо, как мне казалось.
Часть 1. Каждому LXC – своя задача
Со временем сервисы расползлись по контейнерам: я размещал их там, где находилось свободное место. Наконец я решил чётко разделить роли между LXC:
Хост | Назначение | Примеры |
|---|---|---|
sabre | Входящий трафик / периметр сети | NPMplus, CrowdSec, cloudflared |
proteus | Основные служебные сервисы | Uptime Kuma, Beszel, ntfy, Vaultwarden |
archon | Рабочие инструменты | Система заявок, выставление счетов, Guacamole |
talos | Личные инструменты | Mealie, Stirling PDF, Navidrome |
gnosis | ИИ / GPU | Ollama, Open WebUI, Immich |
revelation | Публичные сайты | Сайты на WordPress |
Одно решение я принял осознанно: хранилище паролей не должно находиться на сервере на периметре сети. Если сервер, доступный из интернета, когда-нибудь взломают, я не хочу, чтобы мои секреты лежали там же.
Как перенести стек и не сломать права доступа
Контейнеры с базами данных (Postgres, MariaDB) используют для своих каталогов с данными числовые идентификаторы владельцев (UID), например 999, а не root. Если скопировать каталог стека обычным cp -r или через файловый менеджер, владельцы файлов изменятся и база данных не запустится. Решение – упаковать каталог в tar-архив с сохранением числовых идентификаторов владельцев, а затем перенести архив между контейнерами через pct на хосте Proxmox. При этом SSH вообще не понадобится:
# На исходном LXC (сначала остановить стек)
cd /opt/stacks && tar --numeric-owner -cpzf STACK.tar.gz STACK
# На хосте Proxmox
pct pull SOURCE-ID /opt/stacks/STACK.tar.gz /var/tmp/STACK.tar.gz
pct push TARGET-ID /var/tmp/STACK.tar.gz /opt/stacks/STACK.tar.gz
# На целевом LXC
cd /opt/stacks && tar --numeric-owner -xpzf STACK.tar.gzТочки монтирования тоже пришлось перенести. Для bind-монтирования (bind mount) каталогов с хоста Proxmox, например моей музыкальной библиотеки по NFS, достаточно выполнить pct set <id> -mp0 ... для нового контейнера и pct set <id> -delete mp0 для старого.
Подводный камень: правила доступа по IP-адресам
Guacamole перенёсся без проблем и сразу запустился, но не мог подключиться ни к одной машине через WireGuard-туннель между площадками. Со старого хоста всё работало. А с нового не удавалось даже пропинговать удалённый маршрутизатор.
Оказалось, что в трёх разных местах на удалённом MikroTik был указан IP-адрес старого хоста: в списке разрешённых IP-адресов пира WireGuard, в правиле межсетевого экрана для транзитного трафика с маской /31 и в статическом обратном маршруте через туннель, тоже с маской /31. Такая подсеть содержит ровно два адреса, и новый хост в неё уже не попадал.
Важный нюанс: RouterOS не создаёт маршруты на основе разрешённых IP-адресов WireGuard. Маршрутизацию нужно настраивать отдельно, вручную.
Вывод: прежде чем переносить сервис на новый IP-адрес, проверьте все правила межсетевого экрана, маршруты и настройки VPN-пиров на наличие старого адреса.
Часть 2. Мой WAF не видел реальных IP-адресов
Пока планировал дальнейшие работы, я заглянул в лог доступа NPMplus:
tail -n 15 /opt/stacks/npmplus/npmplus-data/nginx/logs/access.logВсе до единого IP-адреса клиентов принадлежали Cloudflare. Поскольку весь мой трафик проходит через прокси Cloudflare, NPMplus нужно настроить так, чтобы он доверял Cloudflare и извлекал реальные IP-адреса посетителей из заголовков с информацией о клиенте. В NPMplus для этого есть специальная переменная окружения TRUST_CLOUDFLARE=true. Я её даже прописал... только не там, где нужно: в сервисе crowdsec вместо npmplus в файле Compose.
В результате CrowdSec видел несколько сотен пограничных серверов Cloudflare вместо реальных атакующих. В лучшем случае он просто не мог заблокировать тех, кого действительно следовало. В худшем – мог заблокировать сам Cloudflare, из-за чего часть обычных посетителей потеряла бы доступ к сайтам. Достаточно было перенести одну строку и заново развернуть стек. После этого в логах наконец появились реальные IP-адреса.
services:
npmplus:
environment:
- TZ=Africa/Johannesburg
- LOGROTATE=true
- TRUST_CLOUDFLARE=true # должно быть ЗДЕСЬ, а не в crowdsecВывод: если ваш WAF работает за прокси, хотя бы раз загляните в лог доступа и убедитесь, что там отображаются реальные IP-адреса посетителей.
Часть 3. 63 021 спам-аккаунт на моём Git-сервере
Как только в логах появились реальные IP-адреса, обнаружилась неприятная картина. Мой Forgejo кишел ботами: они открывали страницу /user/sign_up, меняли настройки аккаунтов и обходили репозитории с названиями, рекламирующими казино и лекарства. Я и раньше замечал регистрации спам-ботов, но даже не подозревал, что регистрация всё ещё открыта.
Достаточно было посчитать пользователей через CLI Forgejo, чтобы оценить масштаб:
docker exec <forgejo-container> forgejo admin user list \
--config /var/lib/gitea/custom/conf/app.ini | wc -l
# 63023 (строка заголовка + я + 63 021 спамер)Получалось, что мой сервер бесплатно размещал чужой SEO-спам.
Шаг 1. Остановить поток новых регистраций
Forgejo считывает настройки из переменных окружения в формате FORGEJO__section__KEY. В приложении TrueNAS я добавил две переменные в разделе Additional Environment Variables:
FORGEJO__service__DISABLE_REGISTRATION=true
FORGEJO__service__REQUIRE_SIGNIN_VIEW=trueПервая запрещает регистрацию новых аккаунтов. Вторая скрывает всё содержимое от неавторизованных посетителей, поэтому все спам-страницы сразу стали недоступны извне. На мои собственные операции push и pull это не повлияло, поскольку для них я использую токены.
Шаг 2. Пересоздать всё вместо массовой очистки
Удаление 63 тысяч аккаунтов по одному через CLI заняло бы больше суток. А у меня было всего пять настоящих репозиториев и одна вики, поэтому проще и быстрее оказалось развернуть Forgejo заново. Заодно я гарантированно получал чистую базу данных и мог сразу перейти на последнюю версию Forgejo, не проходя через целую цепочку обновлений.
Сначала нужно создать зеркальные копии всех репозиториев. Вики в Forgejo – это отдельный Git-репозиторий <repo>.wiki.git, поэтому её тоже можно перенести:
mkdir -p ~/forgejo-migration && cd ~/forgejo-migration
read -s TOKEN # вставьте токен с правами только на чтение, ввод не отображается
for r in repo-one repo-two repo-three; do
git -c http.extraHeader="Authorization: token $TOKEN" \
clone --mirror "http://forgejo.lan:6012/USER/$r.git"
done
git -c http.extraHeader="Authorization: token $TOKEN" \
clone --mirror "http://forgejo.lan:6012/USER/repo-one.wiki.git"Прежде чем что-либо удалять, обязательно проверьте зеркальные копии:
for d in *.git; do
echo "== $d"
git -C "$d" fsck --no-progress 2>&1 | tail -n 2
echo "refs: $(git -C "$d" for-each-ref | wc -l)"
git -C "$d" log --all -1 --format='latest: %h %ci %s'
doneКогда я убедился, что все репозитории соответствуют тому, что отображается в веб-интерфейсе, удалил приложение вместе с его датасетами и установил Forgejo с нуля. Обе переменные, ограничивающие доступ, были заданы ещё до первого запуска. Затем я создал пустые репозитории (без README и без опции «initialize repository») и загрузил всё обратно:
git -C "repo-one.git" -c http.extraHeader="Authorization: token $TOKEN" \
push --mirror "http://forgejo.lan:6012/USER/repo-one.git"Есть один нюанс: Forgejo не принимает push в вики, если она ещё не была создана. Поэтому сначала нужно создать через веб-интерфейс временную первую страницу. После этого push --mirror заменит её настоящей вики со всей историей изменений.
По ходу дела обнаружилось ещё несколько мелких, но неприятных нюансов:
В приложении TrueNAS команда
docker exec -u gitне работает, поскольку приложение запускается с UID 568. Просто уберите-uи укажите--config.Если в Linux у вас используется оболочка fish (по умолчанию в CachyOS), команды для bash вроде
read -rsне сработают. Сначала выполнитеbash.При удалении датасета в TrueNAS удаляются и все его снимки состояния. Проверенные зеркальные копии репозиториев останутся у вас в единственном экземпляре, поэтому, прежде чем продолжать, сохраните их ещё где-нибудь.
Вывод: если вы разворачиваете Forgejo или Gitea для личного использования, отключайте регистрацию сразу.
Часть 4. Проверяем, что на самом деле доступно из интернета
После этой неприятной истории я решил проверить все маршруты Cloudflare Tunnel и сопоставить их с приложениями Cloudflare Access. Обнаружились две проблемы:
Для одного маршрута вообще не было настроено приложение Cloudflare Access. Это был старый маршрут RDP к удалённой машине, доступный любому, кто знал доменное имя. Я давно перешёл на Guacamole, а маршрут забыл удалить. Теперь удалил.
Политика регистрации устройств оказалась слишком широкой. Для доступа к моим панелям администрирования требуется устройство, зарегистрированное в WARP. Но сама регистрация была разрешена для любых адресов электронной почты в нескольких доменах, в том числе тех, где есть почтовые ящики других людей. Любой подходящий под это правило пользователь мог зарегистрировать свой телефон и пройти проверку. Теперь регистрация разрешена только с моего личного адреса.
В обновлённой панели Cloudflare One разрешения на регистрацию устройств находятся в разделе Team & Resources → Devices → Device profiles → Management → Device enrollment permissions. Все правила Include объединяются по логике ИЛИ, поэтому достаточно одного слишком широкого правила, чтобы открыть доступ всем, кто под него подходит.
Три категории доступа
Чтобы упростить управление доступом, я разделил все доменные имена на три категории:
Категория | Кто использует | Защита |
|---|---|---|
1. Публичные | Посетители, семья, приложения с собственными клиентами | Авторизация в самом приложении и CrowdSec |
2. С ограниченным доступом | Только я, через браузер | Cloudflare Access с одноразовым кодом по электронной почте |
3. Администрирование | Только я, со своих устройств | Cloudflare Access с обязательной регистрацией устройства в WARP |
Первая категория нужна потому, что приложения с собственными клиентами (Home Assistant, Bitwarden, Immich, ntfy) не могут пройти авторизацию через браузерную форму Cloudflare. Для них наиболее практичный вариант – собственная аутентификация приложения в сочетании с WAF.
Защищаем n8n, не ломая вебхуки
С n8n, который я отнёс ко второй категории, оказалось интереснее. Мне нужно закрыть редактор авторизацией, но при этом внешние сервисы должны иметь возможность обращаться к его вебхукам без неё. Cloudflare Access применяет настройки наиболее точно совпадающего приложения, поэтому решение – создать два приложения:
n8n.example.com/apiс политикой Bypass – Everyone (обход проверки доступа для всех) – для пути вебхуков.n8n.example.comс политикой доступа по моей электронной почте – для всего остального.
Сначала создайте приложение с обходом проверки доступа, чтобы не нарушить работу вебхуков. Если позже будете использовать n8n Forms или узлы Wait, для их путей (/form, /webhook-waiting) тоже понадобятся отдельные правила обхода.
Дополнительная защита Guacamole
Guacamole открывает доступ к удалённым машинам, поэтому помимо Cloudflare Access я добавил ещё и TOTP. В официальном образе версии 1.6.0 поддержка уже встроена, и для включения достаточно двух переменных окружения в сервисе guacamole:
TOTP_ENABLED: "true"
TOTP_ISSUER: My GuacamoleПри следующем входе появится QR-код для настройки TOTP. Два совета: пока проверяете работу, оставьте активную сессию в другой вкладке, а секрет TOTP храните отдельно от хранилища, в котором лежит пароль от Guacamole.
Часть 5. Закрываем прямой доступ из интернета
Есть один неприятный нюанс в схеме «оранжевое облако Cloudflare + проброс портов»: Cloudflare скрывает ваш IP-адрес только от тех, кто ищет его через DNS. Порты 80 и 443 по-прежнему принимают подключения от кого угодно. Сканеры быстро находят домашние IP-адреса, и если кто-то подключится напрямую, указав правильный заголовок Host, то обойдёт и WAF Cloudflare, и все настроенные вами политики Access.
Есть два способа решить проблему. Можно разрешить подключения к проброшенным портам только с IP-адресов из опубликованных диапазонов Cloudflare. А можно вообще отказаться от проброса портов и направить весь трафик через Cloudflare Tunnel. Я выбрал второй вариант: никаких открытых портов, а заодно больше не нужно зависеть от DDNS или постоянного публичного IP-адреса.
Зачем оставлять NPMplus за туннелем?
Здесь стоит оговориться: в README самого NPMplus не рекомендуют ставить перед ним прокси или туннель Cloudflare. Среди причин – расшифровка трафика на стороне Cloudflare, переопределение заголовков и ограничение на загрузку файлов размером 100 МБ. Но всё это касалось меня и раньше, поскольку у меня уже было включено проксирование через Cloudflare. Туннель меняет лишь способ подключения Cloudflare к NPMplus, а не сам факт прохождения трафика через Cloudflare.
Я выбрал схему туннель → NPMplus → сервисы, а не прямое подключение туннеля к каждому приложению, потому что NPMplus по-прежнему решает несколько важных задач:
CrowdSec AppSec проверяет каждый запрос.
Единая точка маршрутизации. Все маршруты туннеля настроены одинаково, а основную работу по маршрутизации выполняет NPMplus.
HTTPS внутри домашней сети. Переопределение DNS-записей в AdGuard Home направляет запросы к моим доменным именам напрямую на NPMplus в локальной сети. При этом используются действительные сертификаты, а трафик не проходит через Cloudflare. Заодно это позволяет обойти ограничение в 100 МБ при загрузке файлов в Immich из дома.
Новый туннель
Вместо того чтобы перенастраивать существующий туннель, я решил перенести всё на совершенно новый. Старый туннель продолжал обслуживать панели администрирования, пока я переносил и проверял остальные сервисы. Благодаря этому ничего не переставало работать в процессе. Когда на старом туннеле не осталось маршрутов, я его удалил.
Токен нового коннектора хранится в файле .env Dockge, а не в файле Compose:
services:
cloudflared:
image: cloudflare/cloudflared:latest
container_name: cloudflared
restart: unless-stopped
command: tunnel --no-autoupdate run
network_mode: host
environment:
- TUNNEL_TOKEN=${TUNNEL_TOKEN}Параметр network_mode: host позволяет туннелю напрямую обращаться к NPMplus по адресу 127.0.0.1:443 и к устройствам администрирования в локальной сети. Пока старый и новый коннекторы работали параллельно, я мог спокойно переносить сервисы без простоев.
Важные настройки маршрутов
Для каждого публичного доменного имени используется одинаковая конфигурация маршрута:
Параметр | Значение | Зачем это нужно |
|---|---|---|
Service |
| Если указать порт 80 NPMplus, при включённом Force SSL возникнет бесконечный цикл перенаправлений |
Origin Server Name | Полное доменное имя | Туннель проверяет, что сертификат NPMplus соответствует этому имени |
Match SNI to Host | Включено | NPMplus определяет, для какого сайта предназначен запрос и какой сертификат использовать |
No TLS Verify | Выключено | Проверку сертификатов отключать не нужно, поскольку сертификаты Let’s Encrypt действительны |
Реальные IP-адреса посетителей при работе через туннель
Я думал, что здесь придётся вручную настраивать nginx, но ничего подобного не понадобилось. В NPMplus уже заданы параметры real_ip_header X-Forwarded-For и real_ip_recursive on, а в список доверенных адресов входят диапазоны частных сетей, в том числе 127.0.0.0/8. Cloudflare передаёт IP-адрес посетителя в заголовке X-Forwarded-For, поэтому nginx пропускает доверенный локальный узел в цепочке прокси и определяет реальный IP-адрес клиента.
Я проверил это на одном тестовом доменном имени, а затем выполнил grep по логу доступа. Всё работало как надо, и только после этого я приступил к переносу остальных сервисов.
Переносим доменные имена по одному
Для каждого доменного имени порядок действий был одинаковым: удалить старую CNAME-запись (Cloudflare не позволяет туннелю создать новую запись, пока существует старая), добавить маршрут туннеля и проверить доступ с телефона через мобильный интернет.
Примерно через 25 доменных имён все сервисы оказались за туннелем. Каждый перенос сопровождался простоем около минуты.
Несколько практических замечаний:
Проверяйте доступ извне. Из-за раздельного разрешения DNS домашние проверки вообще не затрагивают Cloudflare. А если мобильный оператор закешировал старый ответ о том, что доменное имя не существует, проблему можно обойти, указав
one.one.one.oneв настройках Private DNS на Android.Для корневого домена и www нужны отдельные маршруты.
Приложения Cloudflare Access привязаны к доменному имени, а не к маршруту, по которому к нему поступает трафик. Поэтому все существующие ограничения доступа продолжили работать после переноса.
Панели администрирования
Теперь Proxmox, Proxmox Backup Server и TrueNAS тоже работают через NPMplus. Благодаря этому CrowdSec проверяет запросы к ним, а внутри домашней сети я получаю доступ по HTTPS с действительными сертификатами. При этом панели по-прежнему защищены политикой Cloudflare Access, разрешающей подключение только с устройств, зарегистрированных в WARP. Заодно я перенёс их на свой рабочий домен.
Консоль Proxmox работает через NPMplus без проблем, поскольку тот автоматически поддерживает WebSocket-соединения.
Единственное исключение – сама панель администрирования NPMplus. Трафик к ней идёт напрямую из туннеля на порт 81, минуя проксирование NPMplus. Если с NPMplus что-то случится, у меня всё равно останется способ зайти в панель и исправить проблему.
Чтобы доменные имена оставались защищёнными на протяжении всего переноса, я сначала добавлял каждое новое имя в соответствующее приложение Cloudflare Access и только потом создавал маршрут. Ни одно доменное имя не должно становиться публично доступным даже на минуту без настроенной проверки доступа.
Закрываем порты
Когда все публичные DNS-записи были переведены на туннель, я проверил каждую DNS-зону на наличие старого DDNS-имени. Убедившись, что ссылок на него больше нет, отключил (но не удалил) правила dst-nat для портов 80 и 443 на MikroTik. Если что-то сломается, их можно будет снова включить одним нажатием и быстро откатить изменения.
Осталось провести две проверки: все сайты по-прежнему открывались через мобильный интернет, а попытки подключиться напрямую к моему домашнему IP-адресу по портам 80 и 443 теперь заканчивались тайм-аутом.
Одну вещь я намеренно оставил без изменений – DDNS на MikroTik. Для доступа к веб-сервисам он больше не нужен, но один из WireGuard-пиров, соединяющих две сети, всё ещё подключается по этому имени.
Какие выводы я сделал
Время от времени проверяйте логи доступа своего прокси. Если все IP-адреса клиентов принадлежат Cloudflare, ваш WAF не видит реальных посетителей.
Если разворачиваете собственный Git-сервер, отключайте регистрацию с первого дня.
«Оранжевое облако» Cloudflare скрывает ваш IP-адрес, но не закрывает порты.
Сверяйте приложения Cloudflare Access с маршрутами. Именно среди забытых маршрутов могут скрываться дыры в безопасности.
Все правила Include в политике Zero Trust объединяются по логике ИЛИ. Не делайте их слишком широкими.
Переносите сервис? Сначала найдите все упоминания его старого IP-адреса в правилах межсетевого экрана, маршрутах и настройках VPN-пиров.
Не храните секреты в файлах Compose. Выносите токены в файл
.env, чтобы они случайно не попали в общедоступные конфигурации или на скриншоты.Проверяйте резервные копии перед удалением данных и храните хотя бы одну копию на другом устройстве.
Что дальше
Следующий шаг – переход с Dockge на Dockhand для централизованного управления стеками во всех контейнерах LXC. Файлы Compose я уже проверил. Основная работа теперь – заменить относительные пути ./ в bind-монтировании на абсолютные, поскольку удалённый агент Dockhand хранит файлы Compose в собственном каталоге.
Но это уже тема для отдельной статьи.

Проблемы с безопасностью и доступностью сервисов часто обнаруживаются случайно — как в этой истории. Чтобы не ждать очередного неприятного сюрприза, полезно разобраться, как выявлять угрозы и диагностировать проблемы с Docker, сетевыми портами и логами. Эти темы будут разбираться на бесплатных уроках:
30 ноября, 20:00. «Кибербезопасность в деле: от моделирования угроз до обнаружения и предотвращения атак». Записаться
8 декабря, 19:00. «Контейнер запущен, а сайт недоступен: разбираемся с Docker, портами и логами». Записаться
![[Перевод] 63 тысячи спам-аккаунтов: как я за ночь защитил домашнюю инфраструктуру](https://habrastorage.org/extt/87/06/f8/8706f869b0cde71ffb226d242631d3c8.jpg)
Комментарии 0