Дубли страниц: найти и устранить

Симптом

• В Search Console → «Покрытие» → «Страница является копией, без выбранной пользователем канонической страницы».
• В выдаче site:domain.ru показывается меньше страниц, чем есть.
• По одному и тому же запросу позиции прыгают между разными URL.

Причина

Типичные источники дублей:

1. С/без trailing slash — /page и /page/.
2. С/без www — www.domain.ru/page и domain.ru/page.
3. HTTP и HTTPS — оба варианта доступны и индексируются.
4. GET-параметры — ?utm_source=, ?ref=, ?sort=.
5. Печатная версия — ?print=1.
6. Пагинация — /page/1/ и / дают то же самое.
7. Версии для разных регионов без правильного hreflang.

Как проверить

1. Открыть в браузере оба варианта URL — должен быть один (второй — 301 редирект на первый).
2. curl -I https://domain.ru/page — посмотреть Location:.
3. Search Console → Проверка URL → Google показывает выбранный канонический.
4. Аудит — пункты og:url совпадает с canonical и Прямой доступ без редиректа в чеклисте.

Решение

Глобально для всего сайта

В nginx — один canonical-host, остальные 301:

server {
  listen 80;
  server_name domain.ru www.domain.ru;
  return 301 https://www.domain.ru$request_uri;
}

Trailing slash — единообразно:

# Если канонически без / в конце:
rewrite ^/(.*)/$ /$1 permanent;

На уровне страниц

<link rel="canonical" href="https://www.domain.ru/page">

Указывайте на «правильный» URL — без параметров, с правильным hostname и регистром.

GET-параметры

В robots.txt:

Disallow: /*?utm_
Disallow: /*?ref=
Disallow: /*?sort=

Либо canonical всегда без параметров — поисковик сам поймёт.

Пагинация

/page/1/ → 301 → /. Остальные страницы пагинации — <link rel="canonical" href="..."> сами на себя + <meta name="robots" content="noindex,follow"> (чтобы не индексировались, но ссылки на товары обрабатывались).

Связанные

• Title и Description: ошибки и автогенерация
• Цепочки редиректов и петли