Дубль — это отдельный URL с тем же или почти тем же содержанием. Поисковик может выбрать основную версию сам, но сайт теряет управляемость: сигналы и внутренние ссылки расходятся, робот обходит технические варианты, а нужная страница конкурирует с копией.
Исправление начинается с классификации. Ненужный адрес перенаправляют, доступную эквивалентную копию канонизируют, служебную страницу закрывают от индексации, а документы с разными задачами содержательно разводят.
Какие дубли встречаются
Технические варианты адреса
HTTP/HTTPS, www/без www, регистр, слэш, index.php и несколько путей могут отдавать одну страницу. Ненужные варианты должны сходиться на основной URL прямым постоянным редиректом. Внутренние ссылки, canonical и sitemap сразу используют конечный адрес.
Параметры
UTM-метки не меняют содержание, сортировка меняет порядок, сессии создают временное состояние. Уберите параметры из внутренних ссылок. Для эквивалентных страниц используйте canonical на чистый адрес. Редирект допустим не всегда: он может удалить состояние, нужное пользователю.
Фильтры
Часть комбинаций имеет самостоятельный спрос и полезный ассортимент, часть только сужает список. Нужен whitelist индексируемых фильтров. Полезная посадочная получает собственные метаданные, содержимое и self-canonical; служебные комбинации ограничиваются архитектурой и правилами индексации.
Смысловые дубли
Две статьи могут использовать разные слова, но отвечать на один интент. Сопоставьте запросы, H1, структуру, выдачу и фактические посадочные. Взаимозаменяемые материалы объединяют после проверки данных; разные задачи разводят по первому экрану, структуре и внутренним ссылкам.
Как обнаружить проблему
Соберите URL из crawl, sitemap, поисковых консолей, аналитики, логов и базы CMS. Для каждого адреса сохраните код ответа, конечный URL, canonical, Title, H1, количество слов, шаблон и источник обнаружения.
Отдельно протестируйте зеркала, слэш, регистр, index-файл, UTM и произвольный параметр. Автоматический обход может не увидеть адрес, на который никто не ссылается, хотя сервер открывает его по любому набору параметров.
Как выбрать действие
301 или 308
Используйте, если альтернативный URL не должен существовать для пользователя. Цель должна быть ближайшим эквивалентом, а не главной страницей. После настройки обновите внутренние ссылки и sitemap.
Canonical
Подходит для доступных эквивалентных представлений. Целевой URL отвечает 200, индексируем и действительно содержит тот же основной смысл. Canonical — сигнал, поэтому противоречащие редиректы, ссылки и содержание могут привести к выбору другой версии.
Noindex
Подходит для внутреннего поиска, кабинета и тонких служебных страниц, которые нужны человеку, но не поиску. URL должен оставаться доступным для обхода, чтобы робот увидел meta robots или X-Robots-Tag.
Разведение интентов
Если одна страница отвечает «купить», а другая — «как выбрать», не канонизируйте их друг на друга. Разведите H1, лид, структуру, CTA и анкоры. Перестановка слов без изменения задачи не устраняет каннибализацию.
Пять типовых сценариев проверки
Для HTTP/www/слэша сравните коды и конечные URL; нормальный результат — один постоянный редирект.
Для UTM сравните canonical и внутренние ссылки; параметр не должен становиться отдельной посадочной.
Для фильтра сопоставьте спрос, ассортимент и self-canonical; индексируется только полезная комбинация.
Для внутреннего поиска проверьте meta robots; страница работает для пользователя, но не попадает в индекс.
Для двух статей сопоставьте запросы, фактические URL и интент; решение принимается по данным, а не по похожим словам.
Порядок безопасного внедрения
Сформируйте карту «тип URL — действие — исключение».
Проверьте правило на ограниченной выборке и случайных параметрах.
Исправьте генератор ссылок одновременно с редиректом или мета-правилом.
Сохраните crawl и список индексируемых URL до релиза.
После релиза повторите обход, проверьте цепочки, цели не-200 и canonical.
Отслеживайте группы URL, а не отдельные случайные страницы.
Итог
Задача завершена, когда устранён источник дубля, сигналы согласованы, полезные URL сохранены, а повторный crawl подтверждает ожидаемое действие для каждого типа адресов.
Получите бесплатный аудит и стратегию роста
Изучим сайт, покажем точки роста и подготовим прогноз до квалифицированных лидов и оборота из SEO/GEO.