В начале ноября я полез проверить, как мой блог выглядит в Яндексе, и обнаружил, что всё вышедшее после 7 октября в поиск не попало. Статьи выходят по расписанию три раза в неделю, они есть в sitemap, IndexNow на каждую отвечает 202, YandexBot по журналу nginx приходит каждый день. А запрос url: по любой новой статье ничего не находит, и так уже месяц.
Помогла кнопка, до которой у меня раньше не доходили руки: отправка на переобход в кабинете Вебмастера. 10 ноября я отправил туда 10 адресов, на следующий день робот забрал 9 из них, а события в API показали «появилась в поиске» у семи. Руками каждый день лень, написал скрипт.
Домен в коде ниже заменён на example.com, остальное взято из рабочего файла почти без правок.
API
У Вебмастера есть метод POST /v4/user/{user_id}/hosts/{host_id}/recrawl/queue/. 10 ноября он на каждый адрес, включая главную, отвечал 504 Gateway Timeout. Самое странное, что остальной API в это же время работал нормально: и список страниц в поиске, и события, и запросы отдавались без проблем. Метод квоты переобхода при этом показывал 150 и 140 оставшихся, хотя в кабинете в тот же день был лимит 10 адресов в сутки на сайт, поддомены считаются вместе с основным. Какой цифре верить, я разбираться не стал. Кабинет в браузере принимал адреса, поэтому скрипт работает через браузер.
Браузером управляет playwright-cli, он подключается к уже открытому окну Chrome с отдельным профилем, в котором я один раз вошёл в Яндекс руками. Пароля скрипт не знает. Запускает его launchd на маке в 10:45 по Москве, через 15 минут после того, как сервер выкладывает статью дня. За сутки скрипт отправляет не больше, чем разрешает кабинет, то есть столько же, сколько я мог бы отправить руками.
Какие 10 адресов отправить
10 в день немного, поэтому почти весь код про то, что отправлять. Источников три:
def candidates():
today = str(datetime.date.today())
queue = [ln for ln in QUEUE.read_text().splitlines() if ln.strip()] if QUEUE.exists() else []
order = [to_url(s) for d, s in posts() if d == today] + [to_url(s) for s in queue] + not_in_search()
skip = recently_sent()
seen, out = set(), []
for u in order:
fresh_or_queued = u not in skip or u in [to_url(s) for s in queue]
if u not in seen and fresh_or_queued:
seen.add(u)
out.append(u)
return out, queueСтатья, вышедшая сегодня, идёт первой. За ней ручная очередь, это текстовый файл, куда я по строке дописываю slug или адрес переписанной статьи. И в конце всё вышедшее, чего нет в поиске по данным API. Адрес, отправленный за последние 14 дней, повторно из третьего источника не берётся, а вот из ручной очереди берётся всегда: раз я его туда положил, значит, так надо.
Третий источник тянется через API, и тот иногда падает, так что при ошибке функция просто возвращает пустой список:
def not_in_search():
try:
report.load_env()
tok = os.environ["YANDEX_OAUTH_TOKEN"]
uid = report.get("https://api.webmaster.yandex.net/v4/user/", tok)["user_id"]
base = f"https://api.webmaster.yandex.net/v4/user/{uid}/hosts/{report.HOST_ID}"
found = {x["url"] for x in report.get(f"{base}/search-urls/in-search/samples/?limit=100", tok)["samples"]}
except Exception as e:
print(f"⚠️ API Вебмастера: {e}")
return []
return [to_url(s) for _, s in reversed(posts()) if to_url(s) not in found]Пригодилось это в первый же боевой день. Вот кусок лога от 12 ноября:
── 2026-11-12 10:46 ──
⚠️ API Вебмастера: <urlopen error [Errno 8] nodename nor servname provided, or not known>
свободно сегодня: 10, к отправке: 10
https://example.com/blog/kursy-po-vajb-kodingu.html
https://example.com/blog/modeli-v-claude-code.html
...
✅ принято Яндексом: 10 из 10, в очереди файла осталось 4У мака в момент запуска не резолвился DNS, API отвалился, а ручная очередь всё равно ушла целиком. Почему DNS не работал, я до сих пор не понял, в соседние дни около десяти утра мак так же не мог достучаться до сервера по ssh.
Перед отправкой каждый адрес проверяется HEAD-запросом. Пару статей я удалил и закрыл 301 на соседние, и тратить на редирект одну попытку из десяти было бы жалко:
def alive(url):
try:
with urllib.request.urlopen(urllib.request.Request(url, method="HEAD"), timeout=20) as r:
return r.status == 200 and r.url == url
except Exception:
return FalseСколько попыток осталось на сегодня, скрипт считает по таблице заявок в самом кабинете, потому что я иногда отправляю что-то руками, а свой журнал об этом не знает:
def sent_today():
d = datetime.date.today().strftime("%d.%m.%Y")
return js(f"() => [...document.querySelectorAll('tr')].filter(r => r.innerText.includes('{d}')).length")Серая кнопка «Отправить»
Первая версия вставляла адреса в textarea через JavaScript: присвоить value, отправить событие input. Поле заполнялось, а кнопка «Отправить» оставалась серой. Видимо, интерфейс следит за полем как-то по-своему, и синтетического события ему мало. Заработало с командой fill из Playwright, после неё кнопка включается так же, как от живого набора:
cli("fill", "textarea", "\n".join(batch))
subprocess.run(["sleep", "2"])
clicked = js("() => { const b = [...document.querySelectorAll('button')]"
".find(b => b.innerText.trim() === 'Отправить');"
" if (!b || b.disabled) return false; b.click(); return true }")Пока я с этим возился, я смотрел на текстовый снимок страницы (accessibility snapshot), который отдаёт playwright-cli, и он меня обманул. В тот день лимит был уже потрачен, нажать кнопку было нельзя, а в снимке она выглядела обычной. С тех пор состояние кнопки скрипт проверяет только через b.disabled в самой странице.
Из-за того же потраченного лимита я не смог в тот день проверить отправку целиком: кабинет до следующих суток ничего не принимает. Пришлось сделать --dry-run, который проходит все шаги, кроме клика, и печатает, что ушло бы.
После отправки
Скрипт перечитывает таблицу заявок: «В очереди» или «Заявка обработана» считаю принятым, вычёркиваю из ручной очереди, остальное шлю себе в Телеграм. Нет поля для адресов на странице, значит, слетел вход, и тут скрипт просто просит меня войти.
Унести всё это на сервер, где живёт остальная автоматика блога, я не решился. Вход в Яндекс из headless-браузера в датацентре почти наверняка упрётся в проверки безопасности, а с переносом сохранённой сессии между машинами у меня уже был неприятный опыт с другим сервисом. Если мак в 10:45 спит, launchd запустит пропущенное задание, когда он проснётся.
По цифрам на сейчас: первый боевой прогон 12 ноября, принято 10 из 10, за три дня с учётом двух ручных отправок ушло 30 адресов, страниц в поиске 45, было 41. Цифры не чистые, часть статей я в те же дни переписал, потому что Яндекс снимал их как «малоценные».
Комментарии 0