Запрет индексации сайта

Проверка в методике рейтинга: как мы её проводим и почему найденное — проблема

Услуги автора рейтинга

Святослав Семёнов, Cetera Labs — разработка и развитие интернет-магазинов

Cetera делает и развивает интернет-магазины: более 200 проектов в электронной коммерции, интеграции с 1С, поддержка на 1С-Битрикс, InSales, Magento2 и других платформах. Обсудить задачу или аудит вашего интернет-магазина:svyatoslavlsemenov.rusvyatoslav-semenov@yandex.ru@podderzkasaitov+7 910 960-82-21Партнёрская программа

Как проверяем и почему это важно

Проверяем, не закрыт ли сайт от поиска: Disallow: / в robots.txt для Яндекса и Google или для ИИ-краулеров (GPTBot, ClaudeBot, PerplexityBot), тег meta robots noindex на главной, заголовок X-Robots-Tag.

Такой запрет почти всегда попадает на рабочий сайт по недосмотру: уезжает robots.txt тестового сервера или сайт закрывали на время доработок и забыли открыть. Проблема незаметная и дорогая — сайт открывается, реклама идёт, а Яндекс и Google тем временем выбрасывают страницы из выдачи: органический трафик и заявки падают до нуля, позиции потом восстанавливаются месяцами.

Снимаем запрет и отправляем сайт на переобход в Яндекс.Вебмастере, Bing Webmaster и Google Search Console.

Вес в штрафном балле

Если проверка находит проблему, к штрафному баллу магазина прибавляется её вес.

Запрет индексации 2

В рейтинге сейчас

Проблема найдена у 3 270 участников рейтинга. Смотреть рейтинг по этой проверке →