В начале ноября я полез проверить, как мой блог выглядит в Яндексе, и обнаружил, что всё вышедшее после 7 октября в поиск не попало. Статьи выходят по расписанию три раза в неделю, они есть в sitemap, IndexNow на каждую отвечает 202, YandexBot по журналу nginx приходит каждый день. А запрос url: по любой новой статье ничего не находит, и так уже месяц.

Помогла кнопка, до которой у меня раньше не доходили руки: отправка на переобход в кабинете Вебмастера. 10 ноября я отправил туда 10 адресов, на следующий день робот забрал 9 из них, а события в API показали «появилась в поиске» у семи. Руками каждый день лень, написал скрипт.

Домен в коде ниже заменён на example.com, остальное взято из рабочего файла почти без правок.

API

У Вебмастера есть метод POST /v4/user/{user_id}/hosts/{host_id}/recrawl/queue/. 10 ноября он на каждый адрес, включая главную, отвечал 504 Gateway Timeout. Самое странное, что остальной API в это же время работал нормально: и список страниц в поиске, и события, и запросы отдавались без проблем. Метод квоты переобхода при этом показывал 150 и 140 оставшихся, хотя в кабинете в тот же день был лимит 10 адресов в сутки на сайт, поддомены считаются вместе с основным. Какой цифре верить, я разбираться не стал. Кабинет в браузере принимал адреса, поэтому скрипт работает через браузер.

Браузером управляет playwright-cli, он подключается к уже открытому окну Chrome с отдельным профилем, в котором я один раз вошёл в Яндекс руками. Пароля скрипт не знает. Запускает его launchd на маке в 10:45 по Москве, через 15 минут после того, как сервер выкладывает статью дня. За сутки скрипт отправляет не больше, чем разрешает кабинет, то есть столько же, сколько я мог бы отправить руками.

Какие 10 адресов отправить

10 в день немного, поэтому почти весь код про то, что отправлять. Источников три:

def candidates():
    today = str(datetime.date.today())
    queue = [ln for ln in QUEUE.read_text().splitlines() if ln.strip()] if QUEUE.exists() else []
    order = [to_url(s) for d, s in posts() if d == today] + [to_url(s) for s in queue] + not_in_search()
    skip = recently_sent()
    seen, out = set(), []
    for u in order:
        fresh_or_queued = u not in skip or u in [to_url(s) for s in queue]
        if u not in seen and fresh_or_queued:
            seen.add(u)
            out.append(u)
    return out, queue

Статья, вышедшая сегодня, идёт первой. За ней ручная очередь, это текстовый файл, куда я по строке дописываю slug или адрес переписанной статьи. И в конце всё вышедшее, чего нет в поиске по данным API. Адрес, отправленный за последние 14 дней, повторно из третьего источника не берётся, а вот из ручной очереди берётся всегда: раз я его туда положил, значит, так надо.

Третий источник тянется через API, и тот иногда падает, так что при ошибке функция просто возвращает пустой список:

def not_in_search():
    try:
        report.load_env()
        tok = os.environ["YANDEX_OAUTH_TOKEN"]
        uid = report.get("https://api.webmaster.yandex.net/v4/user/", tok)["user_id"]
        base = f"https://api.webmaster.yandex.net/v4/user/{uid}/hosts/{report.HOST_ID}"
        found = {x["url"] for x in report.get(f"{base}/search-urls/in-search/samples/?limit=100", tok)["samples"]}
    except Exception as e:
        print(f"⚠️  API Вебмастера: {e}")
        return []
    return [to_url(s) for _, s in reversed(posts()) if to_url(s) not in found]

Пригодилось это в первый же боевой день. Вот кусок лога от 12 ноября:

── 2026-11-12 10:46 ──
⚠️  API Вебмастера: <urlopen error [Errno 8] nodename nor servname provided, or not known>
свободно сегодня: 10, к отправке: 10
  https://example.com/blog/kursy-po-vajb-kodingu.html
  https://example.com/blog/modeli-v-claude-code.html
  ...
✅ принято Яндексом: 10 из 10, в очереди файла осталось 4

У мака в момент запуска не резолвился DNS, API отвалился, а ручная очередь всё равно ушла целиком. Почему DNS не работал, я до сих пор не понял, в соседние дни около десяти утра мак так же не мог достучаться до сервера по ssh.

Перед отправкой каждый адрес проверяется HEAD-запросом. Пару статей я удалил и закрыл 301 на соседние, и тратить на редирект одну попытку из десяти было бы жалко:

def alive(url):
    try:
        with urllib.request.urlopen(urllib.request.Request(url, method="HEAD"), timeout=20) as r:
            return r.status == 200 and r.url == url
    except Exception:
        return False

Сколько попыток осталось на сегодня, скрипт считает по таблице заявок в самом кабинете, потому что я иногда отправляю что-то руками, а свой журнал об этом не знает:

def sent_today():
    d = datetime.date.today().strftime("%d.%m.%Y")
    return js(f"() => [...document.querySelectorAll('tr')].filter(r => r.innerText.includes('{d}')).length")

Серая кнопка «Отправить»

Первая версия вставляла адреса в textarea через JavaScript: присвоить value, отправить событие input. Поле заполнялось, а кнопка «Отправить» оставалась серой. Видимо, интерфейс следит за полем как-то по-своему, и синтетического события ему мало. Заработало с командой fill из Playwright, после неё кнопка включается так же, как от живого набора:

cli("fill", "textarea", "\n".join(batch))
subprocess.run(["sleep", "2"])
clicked = js("() => { const b = [...document.querySelectorAll('button')]"
             ".find(b => b.innerText.trim() === 'Отправить');"
             " if (!b || b.disabled) return false; b.click(); return true }")

Пока я с этим возился, я смотрел на текстовый снимок страницы (accessibility snapshot), который отдаёт playwright-cli, и он меня обманул. В тот день лимит был уже потрачен, нажать кнопку было нельзя, а в снимке она выглядела обычной. С тех пор состояние кнопки скрипт проверяет только через b.disabled в самой странице.

Из-за того же потраченного лимита я не смог в тот день проверить отправку целиком: кабинет до следующих суток ничего не принимает. Пришлось сделать --dry-run, который проходит все шаги, кроме клика, и печатает, что ушло бы.

После отправки

Скрипт перечитывает таблицу заявок: «В очереди» или «Заявка обработана» считаю принятым, вычёркиваю из ручной очереди, остальное шлю себе в Телеграм. Нет поля для адресов на странице, значит, слетел вход, и тут скрипт просто просит меня войти.

Унести всё это на сервер, где живёт остальная автоматика блога, я не решился. Вход в Яндекс из headless-браузера в датацентре почти наверняка упрётся в проверки безопасности, а с переносом сохранённой сессии между машинами у меня уже был неприятный опыт с другим сервисом. Если мак в 10:45 спит, launchd запустит пропущенное задание, когда он проснётся.

По цифрам на сейчас: первый боевой прогон 12 ноября, принято 10 из 10, за три дня с учётом двух ручных отправок ушло 30 адресов, страниц в поиске 45, было 41. Цифры не чистые, часть статей я в те же дни переписал, потому что Яндекс снимал их как «малоценные».