Ahrefs посчитал, что на следующий день из ответов ИИ-сервисов пропадает от 50 до 83% ссылок на сайты, а около трёх четвертей пропавших возвращаются в течение 20 дней. В моих логах, где один и тот же вопрос задавался повторно, ссылка тоже то появляется, то пропадает.
Отчёт вида процитировали или не процитировали по одному прогону — это шум, а не метрика. Видимость в нейросетях нужно считать как долю появлений по нескольким повторам одного вопроса, а судить о провале можно только после нескольких замеров, разнесённых по времени.
Сломалось ли что-то на сайте, если ссылка пропала из ответа ChatGPT
Скорее всего, нет: ChatGPT собирает ответ заново на каждый вопрос, и набор ссылок под ним меняется. Ahrefs 20 дней каждый день следил примерно за 37 500 цитатами в пяти ИИ-сервисах. Цитата здесь — ссылка на сайт-источник под ответом. Я думал, пропажа ссылки — редкость, но при доле пропаж от половины до 83% за сутки это обычное поведение ИИ-сервисов. Чтобы убедиться, что у вас ничего не сломалось, проверьте доступность сайта, свежие правки и страницы, закрытые от поисковых роботов.
Часть причин известна. По справке OpenAI, при поиске в интернете ChatGPT переписывает вопрос пользователя в один или несколько поисковых запросов. У Ahrefs ChatGPT повторял ровно те же поиски, что накануне, только в 26% случаев. Если включена память, ChatGPT может учитывать сохранённые данные о пользователе, когда переписывает запрос, так что поиск у двух аккаунтов может отличаться. Выдача Google тоже зависит от местоположения, языка и устройства. Но, по оценке Ahrefs, смена поисковых запросов объясняет только часть пропаж. Почему поиск ChatGPT находит разные страницы на один и тот же вопрос, я разбирал отдельно.
Десять ответов ChatGPT дают видимость сайта с погрешностью в десятки процентов
По десяти ответам ChatGPT видимость сайта получается с погрешностью в десятки процентов. Сама видимость в ChatGPT по одному вопросу считается как доля k / n: вопрос задан n раз, сайт процитирован в k ответах. Peec AI считает видимость так же, только по упоминаниям бренда: делит число ответов с упоминанием на все проанализированные и каждый день задаёт нейросетям одни и те же вопросы.
Погрешность показывает доверительный интервал: диапазон, в котором настоящая доля лежит с заданной уверенностью, обычно 95%. Сами десять ответов называют выборкой. Условный пример: сайт есть в 3 ответах из 10. Это 30%, но интервал от 11 до 60%. В расчёте ошибки нет: десять ответов больше и не говорят. Интервал к доле я добавил сам и взял формулу Уилсона: при малом n и доле около нуля или 100% обычная формула выходит за пределы 0–100%.
from math import sqrt
# Доля появлений k/n и 95%-й интервал Уилсона; z = 1.96 соответствует уверенности 95%
def share(k, n, z=1.96):
p = k / n
d = 1 + z**2 / n
c = (p + z**2 / (2 * n)) / d
h = z * sqrt(p * (1 - p) / n + z**2 / (4 * n**2)) / d
return p, max(0, c - h), min(1, c + h)
share(3, 10) # 30%, интервал 11–60%
Сколько раз задавать вопрос и как часто повторять мониторинг ответов нейросетей
Для отчёта я предлагаю 10 повторов вопроса за один замер, замер раз в неделю и окно из четырёх последних замеров, то есть 40 ответов. Чем больше ответов, тем уже интервал: при той же доле 30% на 10 ответах он 11–60%, на 20 ответах 15–52%, на 40 ответах 18–45%. За четыре недели разброс сужается почти вдвое.
Ahrefs советует похожий подсчёт по дням: смотреть, в скольких из последних семи дней сайт был процитирован. Это та же доля с n = 7, и интервал по семи точкам шире, чем по десяти. Ежедневные проверки можно складывать в общее n, формула от этого не меняется.
Отслеживание упоминаний в нейросетях стоит вести рядом с подсчётом ссылок: у Ahrefs упоминание бренда и ссылка на сайт вели себя по-разному. У Google-инструментов и ChatGPT в 12–16% случаев ссылка пропадала, а упоминание оставалось, в 9–12% выходило наоборот. Поэтому долей лучше считать две.
Сравнивать замеры можно, только если условия не меняются: память аккаунта и регион влияют на поиск.
Параметр | Значение |
|---|---|
Повторов вопроса в одном замере | 10 |
Интервал между замерами | 7 дней |
Окно для отчёта | 4 последних замера, 40 ответов |
Что считать | две доли k/n: ссылки на сайт и упоминания бренда |
Погрешность | 95%-й интервал Уилсона |
Аккаунт | один, без сохранённой памяти |
Регион, язык, устройство | одни и те же во всех замерах |
Формулировка вопроса | не меняется |
Сигнал провала | два замера подряд, интервал ниже прежнего месяца |
Потеря | три недели без возврата |
Когда считать, что сайт пропал из ответов, и когда ждать его возвращения
Сайт можно считать пропавшим только после двух замеров подряд, а говорить о потере — после трёх недель без возврата. Один замер ниже обычного ещё ничего не значит: по Ahrefs, около 75% пропавших цитат возвращаются в течение 20 дней. Мои пороги такие:
Сигнал провала — два замера подряд. Последние 20 ответов складываются в одну долю. Если верхняя граница её интервала ниже нижней границы интервала по четырём замерам перед этими двумя (40 ответов), пора искать причину на сайте: доступность, правки, страницы, закрытые от поисковых роботов. Пример: по четырём прежним замерам 30% (18–45%), в двух замерах подряд 0 из 20, это 0–16%, ниже 18%. А 2 из 20 дают 10% с интервалом 3–30%, он пересекается с прежним, и сигнала нет.
Потеря — три недели без возврата. Срок взят из того же исследования Ahrefs: за 20 дней вернулись около трёх четвертей пропавших цитат.
Ждать возвращения стоит те же 20 дней. Разброс у Ahrefs объясняет то, сколько ссылка продержалась до пропажи: цитата, которая держалась 8 дней и больше, возвращалась в 96–99% случаев. Новые цитаты хрупкие: около 70% пропали на следующий день, и вернулись только 34–45% из них. Поэтому первое появление сайта после одного замера ещё не успех. Давняя устойчивая ссылка после пропажи, наоборот, почти всегда возвращается.
Какую цифру показывать клиенту, если сайт то есть в ответах, то нет
Клиенту стоит показывать долю появлений за последние четыре замера с интервалом и динамику по месяцам. Например: сайт есть в 30% ответов (18–45%), месяц назад было 20% (11–35%). Интервалы пересекаются, поэтому рост с 20 до 30% пока может быть случайным, и клиенту лучше сказать это сразу. Зато такая цифра выдерживает вопрос, почему на прошлой неделе нас не было: одна неделя весит в ней четверть. Ahrefs советует добиваться, чтобы сайт со временем появлялся чаще, и не гнаться за тем, чтобы каждая цитата держалась без перерывов. Динамика доли показывает как раз это.
Место бренда в списке стоит показывать отдельно от доли. SparkToro нашёл, что больница City of Hope была в 69 из 71 ответа ChatGPT, это 97%, но первой её назвали всего в 25 ответах.
Интервал Уилсона считает повторы независимыми. Повторы с одного аккаунта в одних условиях вряд ли такие, так что настоящая погрешность может быть больше. Для Gemini и Copilot 20-дневное сравнение Ahrefs сам называет ненадёжным: цитаты все 20 дней были лишь у 4% вопросов Gemini и 27% вопросов Copilot.
Неделя без ссылки в ответе — повод дождаться следующего замера, переделывать сайт по ней рано. На каком числе повторов вы перестали бы доверять интервалу и какие пороги поставили бы сами?
Комментарии 0