Страница не попадает в индекс

Симптом

• В поиске site:domain.ru/your-page пусто.
• В Search Console / Вебмастере страница в статусе «Обнаружена» или «Исключена».
• На сайте страница доступна, открывается в браузере.

Причина

Возможные варианты (в порядке частоты):

1. Страница закрыта в robots.txt (Disallow:).
2. На странице meta-тег <meta name="robots" content="noindex">.
3. HTTP-заголовок X-Robots-Tag: noindex.
4. Страница возвращает 4xx или 5xx (только для бота, видимо нормально).
5. Дубль другой страницы — поисковик выбрал каноническую другую.
6. Тонкий контент (< 200 слов) — считается малополезной.
7. Нет внутренних ссылок на страницу — бот её не нашёл.
8. Очень новая страница — индексация физически ещё не прошла (≤ 7 дней).

Как проверить

1. Открыть robots.txt — найти Disallow: для пути этой страницы.
2. Inspect страницы — F12 → Network → перезагрузить → найти HTML-документ → во вкладке Response найти <meta name="robots".
3. Проверить заголовки: curl -I https://domain.ru/your-page — ищем X-Robots-Tag.
4. Search Console → Проверка URL — там Google прямо пишет, почему страница не в индексе.
5. Найти <link rel="canonical"> — если он указывает на другую страницу, эта считается дублём.
6. Подсчитать слова на странице — для коммерческих страниц минимум 200.

Решение

В зависимости от причины:

После исправления — запросить индексацию вручную в Google Search Console и Яндекс.Вебмастере. Обычно отрабатывает за 1–3 дня.

Связанные

• robots.txt блокирует важные разделы
• Дубли страниц: найти и устранить