Про историю с тем, как в июне pypi.org перестал открываться из России, наверное, знают все. У многих, чей пайплайн ставил пакеты напрямую из pypi.org застопорились сборки.

Сегодня хочу рассказать, как выстраивать CI/CD, чтобы недоступность внешних репозиториев не сказалась на рабочем процессе. Если вы разработчик или DevOps-инженер небольшой/средней команды, у которой CI уже есть, а управляемой схемы получения зависимостей еще нет — эта статья для вас.

Для опытных платформенных инженеров тейк «нужен прокси-репозиторий» вряд ли станет откровением. Но надеюсь здесь мы с вами сможем поисследовать границы работоспособности подобных прослоек и взглянуть на ситуацию системно, вместо простого «вот список зеркал, используй его и все».

Казалось бы, чего проще: есть пакетный менеджер, есть официальная страница пакета с его описанием, документацией и прочим. Если пакет официальный, известный и широко распространен – ставим его, да? Ага. На деле получается, как у знакомых инженеров в сентябре 2025 года: тогда Bitnami убрал версионные теги из docker.io/bitnami и все, и все! Поды с этими образами перестали стартовать на новых узлах.

От случаев, когда источник недоступен, может защитить прокси, но когда зависимость рабочая, а артефакт переместили или удалили пригодится кеширующий реестр — это как прокси с памятью, когда сборки создаются не напрямую, а из копий, которые уже лежат в реестре.

Прежде чем кидаться с головой в кеширование, давайте сначала пробежимся по тому, что проверить кроме pip install, в CI, чтобы убедиться, что сборка действительно не тянет ничего лишнего напрямую из интернета.

Где еще прячутся прямые скачивания

Предположим, очевидное место — pip install мы уже проверили. Куда идти дальше?

  • FROM python:3.12 в Dockerfile — без имени реестра это Docker Hub, который периодически теряет доступ из РФ.

  • Pip install, npm ci, apt-get install внутри Dockerfile.

  • Image: и services: в CI, image: в Helm values и манифестах, образы из io, ghcr.io и registry.k8s.io в сторонних чартах.

Найти все это нужно, конечно, в идеале еще вчера. Потому что я встречал команды, которые после проблем с Docker Hub искали в аврале, пока пайплайны стояли. Начните с поиска по репозиториям: Dockerfile, файлы CI, Helm-чарты и скрипты сборки. Ищите образы без имени реестра и публичные адреса — pypi.org, registry.npmjs.org, docker.io, github.com. Для этого должно хватить grep. Когда найдете все, покажите список командам сервисов: они знают про редкие скрипты и релизные пайплайны, которые поиск мог пропустить.

Если у вас есть корпоративный прокси, через который раннеры ходят в интернет, загляните в логи: там должны быть видны все внешние адреса, к которым обращаются сборки, возможно обнаружите сюрпризы.

Теперь, когда мы запретили ходить куда нельзя, давайте создадим место куда можно.

Раннеры ходят только в реестр, реестр — в интернет

Свои артефакты по моему опыту лучше хранить в локальном реестре, а за внешними через кеширующий слой — свой или публичное зеркало. Но упаси боже ходить напрямую. Как выглядит целевая схема:

Чтобы пйплайн завелся и работал нормально нам нужно несколько мер, и первая из них…

Публичные зеркала
Начать можно с публичных зеркал, такие есть у университетов, хостинг-провайдеров и облаков. Набор варьируется от провайдера к провайдеру, тут уж выбирайте что вам больше нравится, но например, у нас в Artifact Registry есть бесплатные публичные зеркала для Debian, Ubuntu и PyPI, а руководство показывает, как подключить к ним apt.

Частично это вас прикроет. Почему не полностью? Потому что любое зеркало, даже наше, в теории может упасть, поэтому всегда лучше предусмотреть резервный источник и проверить, как именно ваш пакетный менеджер переключается на него. Ну и лучше не принимать пакеты из зеркала на веру: сам факт скачивания с известного зеркала не гарантирует, что файл не подменили. Поэтому отдельно настройте проверку скачиваемых файлов: apt проверяет подпись метаданных репозитория и контрольные суммы пакетов, а при установке через pip используйте зафиксированные версии и хеши с включенной проверкой. Но даже это не 100%-гарантия безопасности почему читайте в разделе «Он вам не фильтр». Перейдем ко второй важной мере.

Свой кеширующий реестр
Для Docker-образов и всего, чего нет в публичных зеркалах, нужен свой кеширующий реестр. Его можно поднять у себя, например, на базе Nexus Repository Community Edition. Лицензия бесплатная, но сам реестр — нет: нужны сервер и диски под кеш, а еще человек, который будет его обновлять и поднимать после падений.

Если не хочется держать еще один сервис, возьмите облачный. Я покажу как выглядит создание реестра на примере Evolution Artifact Registry. Для тех, кто очень боится пасть жертвой рекламы, свернул под кат: можете читать дальше про общие принципы без привязки к конкретным инструментам. В моем конкретном инструменте мне нравится, что он располагает функционалом зеркала не только для Docker. Здесь можно хранить и Docker-образы, и Helm-чарты, а еще deb, RPM, PyPI, npm и generic-файлы. Утилиты вроде kubectl кладите в generic. Для Docker Hub есть руководство. Чтобы уравновесить, о минусах сервиса в раскрывашке тоже написал по чесноку.

Вы устоите, я в вас верю
  1. Создаем реестр

Адреса пакетов задайте в переменных CI на уровне группы: pip читает PIP_INDEX_URL , uv — UV_DEFAULT_INDEX , npm — npm_config_registry . pnpm до 11-й версии понимает те же переменные, что и npm, а с 11-й — только с префиксом pnpm_config_. У Yarn 2+ и Poetry свои настройки. Образы указывайте с адресом реестра прямо в имени: Docker берет образ из того реестра, который там указан, а registry-mirrors подменяет только Docker Hub. Для сторонних чартов зеркало настраивают в среде выполнения контейнеров на узлах, например в containerd.

2. Задаем второй источник для pip и apt

Моим знакомым из начала статьи не хватило второго источника. Любое публичное зеркало — это внешний адрес, поэтому рядом держим свой кеширующий реестр: у каждого свой кеш, и они не зависят друг от друга. Есть небольшая особенность, что apt при ошибке берет пакет из следующего источника, а pip опрашивает оба индекса и долго ждет тот, что не отвечает. Если случится такое — уменьшите таймаут и число повторов. Для публичных пакетов это безопасно, а вот внутренние так подключать нельзя.

3. Смотрим, что попадало в сборки

В кеширующем реестре лежит каждая внешняя версия, которую запрашивали через него, и в интерфейсе Artifact Registry их видно списком. Когда выходит новость о зараженном пакете, откройте реестр и проверьте, есть ли там эта версия. Учтите: после очистки кеша этот след пропадает.

Где, спотыкается решение

Как я сказал выше, решение не лишено минусов, о которых лучше знать заранее, чтобы не разочароваться и не потратить лишнего времени на инструмент без необходимых вам возможностей.

  • У кеширующего реестра два режима: кеш и «Зеркало». Но «зеркало» не хранит копии, поэтому при сбое источника сборка забуксует. Если нужно именно сохранять пакеты, выбирайте режим «кеш».

  • Lock-файлы помнят адреса.lock хранит прямые ссылки на files.pythonhosted.org. С флагом --frozen uv скачивает по ним, даже если вы сменили индекс. Смените индекс и пересоберите lock-файл, не поднимая версий.

  • docker build не видит переменные CI. Передайте адрес через аргумент сборки. Если в адресе есть токен, используйте секреты BuildKit, иначе токен останется в истории образа.

  • Резервный путь к пакетам нужно прописать и на рабочих ПК. При недоступности исходного репозитория сборка на сервере может работать, а сотрудники не смогут установить зависимости у себя, если скачивали из официальных источников напрямую.

  • Кеш отдает только то, что в нем есть. Немного очевидно, но все-таки подчеркну: кеш поможет при недоступности основного репозитория, только если нужные пакеты уже были сохранены. Новую библиотеку или версию, которой в кеше нет, скачать не получится.

Поэтому при очистке кеша сохраняйте зависимости всех версий приложения, которые продолжаете поддерживать. Если удалить пакеты для предыдущего релиза, во время сбоя репозитория вы не сможете провернуть фарш назад для отката.

В итоге сборки перестают обращаться к pypi.org, npm, Docker Hub и репозиториям Debian и Ubuntu: все нужное приходит из реестра. Утилиты с GitHub Releases вы один раз кладете в generic-репозиторий или в базовый образ CI. Сбой любого из этих источников больше не останавливает пайплайны, если их зависимости уже лежат в кеше. Исключение — self-hosted раннер GitHub Actions: он все равно ходит на github.com за задачами и экшенами из uses: , поэтому при недоступном GitHub такие сборки встанут даже с кешем. Чтобы прямые скачивания не вернулись, ограничьте список разрешенных образов в настройках раннера — в GitLab Runner это allowed_images и allowed_services . FROM в Dockerfile это ограничение не видит, его проверяет линтер, например hadolint.

Он вам не фильтр

Кеширующий реестр помогает сохранять непрерывность CI/CD, но не снимает в полной мере вопрос об информационной безопасности. Были примеры, когда даже официальные источники раздавали вредоносное содержимое. Если версию с критической уязвимостью опубликовали в самом исходном репозитории или кто-то захватил аккаунт официального источника и опубликовал вредоносный код под видом безвредного пакета, зеркало или кеш могут сохранить и раздать именно эту копию. Поэтому поверх кеширующего реестра нужны еще минимум три меры:

  1. Фиксируйте версии. Храните lock-файлы с хешами в репозитории, образы указывайте по digest, а не по тегу. pip сверяет хеши с флагом --require hashes , uv записывает их в uv.lock сам. При таком раскладе подмененный пакет не установится, из какого бы зеркала он ни пришел.

  2. Дайте свежему релизу «настояться». Помните громкий инцидент с chalk и debug? Задержка в сутки отсекла бы зараженные релизы. В pnpm это настройка minimumReleaseAge, в Yarn 4 — npmMinimalAgeGate, в uv — exclude-newer. Но работает это только если реестр отдает дату публикации.

  3. Разделяйте поиск по своим и публичным пакетам. Возьмем ситуацию: у вас есть внутренняя библиотека с версией 1.4. В pip параметр --extra-index-url добавляет еще один источник поиска, а не репозиторий, к которому надо обращаться при отказе. Это приведет к тому, что если злоумышленник опубликует через аккаунт в PyPI пакет с тем же названием и версией любой версией выше вашей, сборка притянет именно его. Короче, от греха подальше явно прописывайте что откуда брать и в npm держите внутренние пакеты в своем пространстве имен.

Вместо выводов

Задайтесь вопросом: если завтра отвалится pypi.org, Docker Hub или любой другой публичный источник пакетов, сколько ваших сборок встанет? Рассчитывать на то, что внешние репозитории вдруг перестанут подводить, к сожалению, не приходится. Повлиять на это мы не можем, но можем сделать так, чтобы блокировки, удаленные образы и зараженные релизы не тормозили наши процессы. Принципы тут едины, каким бы инструментарием вы не располагали:

  • Держите копии. Все, что нужно для сборки (базовые образы, пакеты, утилиты) — должно лежать там, откуда вы достанете это, даже если случится сбой.

  • Дублируйте источники. Если инструмент умеет работать с несколькими адресами, пропишите второй: сбой одного источника сборку не остановит.

  • Фиксируйте версии. Lock-файлы и образы по digest делают сборку независимой от того, что сегодня лежит под тегом.

  • Не качайте утилиты на каждом прогоне. kubectl, helm и другие инструменты положите в базовый образ CI.

  • Разделите работу. Общие шаблоны CI — платформенной команде, Dockerfile и lock-файлы — командам сервисов, например.

Копии и второй источник проще всего получить через кеширующий реестр: он сам сохраняет все, чем вы уже пользовались в своих сборках. Его можно поднять у себя или взять облачный, и для pip и apt вторым адресом прописать публичные зеркала.

Самая долгая и кропотливая работа — это найти, где пайплайн ходит в интернет. И сделать это лучше до следующего громкого сбоя.