Как сравнивать ответы ИИ до и после изменений сайта

Зафиксируйте объект и цель наблюдения

Начните с вопроса «что хотим проверить». Например: появляется ли компания при вопросах о категории услуг; корректно ли система описывает её предложение; цитирует ли сайт как источник. Это разные события. Составьте список брендов и URL, которые должны распознаваться как соответствующие наблюдаемой компании.

Не объединяйте упоминание бренда, рекомендацию и наличие ссылки в один «процент GEO». Такие показатели полезнее считать по отдельности, иначе рост упоминаний может скрывать увеличение числа ошибок.

Соберите сопоставимую выборку

Запишите точные формулировки вопросов и распределите их по кластерам: бренд, услуга, сравнение, выбор поставщика, проверка фактов. Не меняйте формулировки после первого замера только потому, что они дали неудобный результат. Добавление новых вопросов оформляйте как новую группу, а не смешивайте с базовой.

При сравнении сохраняйте платформу, язык, доступный регион и режим. Если сервис сменил модель или пользовательский контекст, пометьте это как ограничение измерения. Не утверждайте полную воспроизводимость там, где платформа не раскрывает параметров.

Отделите три события в каждом ответе

Упоминание: бренд назван. Цитирование: есть подтверждённая ссылка на определённый источник. Корректность: факты об услуге, адресе и условиях соответствуют проверенной информации. При этом ссылка на сайт может присутствовать без положительной рекомендации, а название компании — без ссылки.

Если в ответе отсутствуют ссылки, не записывайте «цитирование» на основании предположения о том, откуда модель взяла данные. Сохраняйте ответ полностью, насколько позволяет интерфейс и правила используемого сервиса.

Повторите измерения и покажите размер выборки

Для каждого кластера используйте заранее выбранное число запусков и одинаковые правила классификации. Например, учебная выборка из 10 вопросов с двумя повторами даёт 20 наблюдений. Если бренд упомянут в 8 из 20, доля упоминаний в этой выборке составляет 40%. Это не означает «40% доли всех ответов ИИ в интернете» и не доказывает эффект ваших изменений.

Отдельно показывайте неполученные ответы, технические ошибки и ограничения доступа. Нельзя автоматически включать их в знаменатель как случаи отсутствия бренда, если сценарий замера не завершился.

Таблица контрольного протокола

Реестр можно вести в бесплатном GEO-журнале: он формирует CSV локально без отправки введённых данных на сервер.

Как читать результаты, не обещая гарантии

Разницу между волнами проверяйте по тем же вопросам и отдельно по каждому сервису. Если изменились источники, покажите конкретные URL. Если корректность ответов улучшилась, зафиксируйте это, даже когда частота упоминаний осталась прежней. Если данных мало, правильно говорить «в наблюдаемой выборке», а не «видимость выросла на рынке».

Совпадение публикации новой страницы и улучшения ответов не доказывает причинность. На ответы влияют обновления самих платформ, внешние источники и персонализированный контекст. Интерпретация требует ограничений и повторных замеров.

Что именно оптимизировать после наблюдения

Для неверных фактов — проверьте исходные данные на сайте и в карточках организации. Для отсутствующего ответа по услуге — оцените полноту и доступность соответствующей страницы. Для несоответствия источников — проверьте, какие URL на самом деле цитируются и можно ли их актуализировать.

Методику поддерживают разбор цитирования, карта вопросов и страниц, реестр доказательств. В рекомендациях Google Search Central отдельно подчёркивается важность обычной технической доступности и качества контента; специальной гарантированной «GEO-разметки» нет.