Статья

HTTP-статусы для SEO: какие коды ответа важны и как их проверять

Сергей Торкунов

Код ответа сервера — первое, что поисковый робот узнаёт о странице, ещё до того, как прочитает текст. По коду он решает, индексировать страницу, переносить её сигналы на другой адрес, удалить из выдачи или зайти позже. Ошибка в кодах на одном шаблоне может за несколько недель выбросить из индекса тысячи страниц. Разберу, какие коды важны для SEO, как они работают в Яндексе и Google и как проверить, что сайт отвечает правильно.

Короткий ответ

Для SEO важны пять групп кодов. 200 — страница доступна и может индексироваться. 301 и 308 — постоянный переезд: поисковик переносит сигналы на новый адрес. 302 и 307 — временный редирект: старый адрес остаётся в индексе. 404 и 410 — страницы нет: она выпадает из индекса, 410 — обычно быстрее. 5xx и 429 — сервер не справился: робот придёт позже, а при долгих ошибках начнёт удалять страницы и снижать скорость обхода. Главные проблемы на практике: цепочки редиректов, soft 404 (пустая страница с кодом 200), 302 вместо 301 при переезде, ошибки 5xx под нагрузкой и блокировка роботов защитой от ботов.

Как робот использует код ответа

Поисковый робот запрашивает URL и первым делом смотрит на код. Дальнейшее поведение зависит от него:

Код Что делает робот Что происходит в индексе
200 OK Скачивает и анализирует содержимое Страница может попасть в индекс
301 Moved Permanently, 308 Переходит на новый адрес Старый URL заменяется новым, сигналы переносятся
302 Found, 307 Переходит, но запоминает старый адрес Обычно в индексе остаётся старый URL
304 Not Modified Не скачивает страницу заново Сохраняется ранее проиндексированная версия
404 Not Found Фиксирует, что страницы нет Страница удаляется после повторных проверок
410 Gone Фиксирует, что страница удалена навсегда Удаление обычно быстрее, чем при 404
429 Too Many Requests Снижает частоту запросов Обход замедляется
500, 502, 503, 504 Повторяет запрос позже При долгих ошибках страницы выпадают, обход сокращается
Обложка PDF «Упал трафик: что проверить за 2 часа»
Бесплатный PDF · 9 страниц

Упал трафик: что проверить за 2 часа

Схема диагностики: как отделить сезонность и апдейт от технической поломки и понять, что чинить первым.

  • 5 шагов: от проверки данных до санкций
  • Таблица «картина падения — вероятная причина»
  • Кейсы восстановления «Колёс Даром» и магазина одежды

200: не каждая «живая» страница нормальная

Код 200 говорит роботу: «здесь есть содержимое». Проблема возникает, когда содержимого на самом деле нет: пустой листинг с текстом «товары не найдены», удалённый товар с шаблоном карточки без данных, страница ошибки с кодом 200. Это soft 404. Поисковики распознают такие страницы и исключают их как малоценные, но тратят на них обход, а сайт получает много мусорных URL. Для удалённых товаров и пустых страниц нужен настоящий 404 или 410, а для временно отсутствующих товаров — 200 с полной карточкой, пометкой «нет в наличии» и альтернативами. Подробнее — в статье soft 404.

301 или 302: когда какой редирект

301 используют, когда адрес изменился навсегда: переезд сайта, смена структуры URL, склейка дублей, объединение статей, переход на HTTPS. Поисковик заменяет старый адрес новым и переносит сигналы — ссылки, историю, поведение.

302 нужен, когда страница временно доступна по другому адресу: акция, технические работы на разделе, A/B-тест. Если поставить 302 при переезде, Яндекс может долго держать в индексе старые адреса, а новые — не индексировать как основные.

Правила для редиректов:

  • Без цепочек. Каждый старый URL ведёт сразу на конечный адрес, а не через два-три промежуточных. Цепочки замедляют обход и теряют часть сигналов.
  • Постранично. Каждая страница ведёт на свой аналог, а не все на главную. Массовый редирект на главную поисковик воспринимает как soft 404.
  • Внутренние ссылки — на конечные адреса. Сайт не должен ссылаться сам на себя через редиректы.
  • Надолго. Редиректы после переезда держат минимум год, лучше постоянно.

На проекте FUN&SUN при переработке структуры мы настраивали около 2 млн редиректов на 42 тыс. страниц. Такой объём реально поддерживать только правилами по шаблонам и с автоматической проверкой: каждый старый адрес — сразу на конечный, без цепочек и без редиректов на главную.

404 или 410

Оба кода говорят, что страницы нет. Разница — в намерении: 404 означает «не найдено», и поисковик несколько раз перепроверит адрес; 410 — «удалено навсегда», и страница обычно выпадает быстрее. На практике:

  • 410 — для массового удаления мусора: старые фильтры без спроса, тестовые страницы, спамные URL, которые кто-то сгенерировал на сайте.
  • 404 — для обычных несуществующих адресов и удалённых товаров без замены.
  • 301 — если у удалённой страницы есть близкий аналог: новая модель вместо снятой с производства, объединённая статья вместо дубля.

Страница 404 должна быть полезной для человека: поиск, ссылки на основные разделы, популярные категории. Но код ответа при этом обязан оставаться 404, а не 200.

5xx и 429: самые опасные ошибки

Ошибки сервера опаснее всего, потому что их часто не видно: сайт работает у владельца, но падает под нагрузкой, когда приходят роботы. Если робот регулярно получает 5xx, он снижает частоту обхода, а страницы, которые долго недоступны, начинают выпадать из индекса.

Что проверять:

  • Ответы роботам в логах сервера. Доля 5xx для поисковых роботов — больше нескольких процентов уже повод разбираться.
  • Пиковые часы. Ошибки часто возникают ночью, когда идут выгрузки, бэкапы и обход роботов одновременно.
  • 503 при технических работах. Если сайт закрыт на обслуживание, нужен 503 с заголовком Retry-After, а не 200 со страницей «ведутся работы» и не 404.
  • 429 и защиту от ботов. Защита от DDoS или лимиты запросов могут отдавать роботам 429 или 403.

Пример из нашей практики: в Билайне служба безопасности включила защиту от DDoS, которая начала блокировать Googlebot. 20 дней видимость в Google проседала более чем в 2 раза, пока SEO-команда не нашла причину по ответам роботу. После этого любые изменения правил защиты стали согласовывать с SEO.

304 и экономия обхода

Код 304 Not Modified отвечает роботу, что страница не изменилась с прошлого визита. Робот не скачивает её заново и тратит ресурсы на другие страницы. Для больших сайтов это важно: правильные заголовки Last-Modified и ETag и ответ 304 на условные запросы помогают поисковику быстрее находить действительно новые и изменённые страницы. Главное — не отдавать 304 для страниц, которые на самом деле изменились: тогда робот не увидит новую цену или новый текст.

Где искать ошибки

Источник Что показывает
Яндекс Вебмастер → Индексирование → Статистика обхода Коды ответа, которые получал робот Яндекса, по датам
Яндекс Вебмастер → Проверка ответа сервера Код и заголовки по конкретному URL глазами робота
Search Console → Страницы Исключённые страницы с причинами: 404, soft 404, редирект, ошибка сервера
Search Console → Статистика сканирования Распределение кодов ответа и время ответа сервера
Краулер (Screaming Frog, Netpeak Spider и аналоги) Коды всех найденных URL, цепочки редиректов, ссылки на 404
Логи сервера Что реально получали роботы, включая ночные ошибки

Краулер показывает, что видит сайт сейчас, а логи — что видели роботы на самом деле. Нужны оба источника: краулер днём может не встретить ошибку, которая возникает под ночной нагрузкой. Как работать с логами, разобрано в статье анализ логов для SEO.

Диагностика по шаблонам

На большом сайте нет смысла смотреть коды по одному URL. Разбейте страницы на шаблоны — главная, категории, фильтры, карточки, статьи, служебные — и проверьте каждый:

  1. Что отвечают существующие страницы шаблона — 200?
  2. Что отвечает несуществующий адрес в этом шаблоне — например, карточка с выдуманным ID? Должен быть 404, а не 200 и не редирект на главную.
  3. Что отвечают удалённые и снятые с продажи товары?
  4. Что происходит с адресом со слешем и без, с заглавными буквами, с параметрами?
  5. Сколько шагов у редиректов со старых адресов?
  6. Что отвечает шаблон под нагрузкой — есть ли 5xx в логах?

Порядок исправлений

Приоритет Проблема Почему
1 5xx, 429 и 403 для роботов Страницы выпадают, обход сокращается
2 Soft 404 на массовых шаблонах Мусор в индексе, потерянный обход
3 302 вместо 301 после переезда Новые адреса не становятся основными
4 Цепочки редиректов и редиректы на главную Потеря сигналов, медленная переиндексация
5 Внутренние ссылки на 404 и редиректы Лишняя нагрузка на обход, плохой опыт пользователей
6 Нет 304 на больших сайтах Обход тратится на неизменные страницы

Проверка после релиза

Коды ответа ломаются чаще всего при релизах: новый шаблон 404 начинает отдавать 200, обновление CMS сбрасывает редиректы, новая защита блокирует роботов. Поэтому после каждого заметного релиза стоит прогонять короткий список URL — по одному-два на каждый шаблон плюс несуществующие адреса и старые редиректы — и сравнивать коды с эталоном. Такая проверка занимает минуты и ловит ошибки до того, как их увидит поисковик.

Мониторинг

  • Еженедельно — коды ответа в статистике обхода Вебмастера и Search Console.
  • Ежедневно для больших сайтов — доля 5xx, 403 и 429 для роботов по логам с оповещением при росте.
  • После каждого релиза — эталонный список URL по шаблонам.
  • Раз в месяц — краулинг сайта: ссылки на 404 и редиректы, цепочки.

Чек-лист

  1. Существующие страницы отвечают 200, несуществующие — 404 или 410.
  2. Нет soft 404 на пустых листингах и удалённых товарах.
  3. Постоянные переезды — 301, временные — 302.
  4. Редиректы без цепочек, постранично, не на главную.
  5. Внутренние ссылки ведут на конечные адреса.
  6. Нет 5xx, 403 и 429 для поисковых роботов.
  7. Технические работы — 503 с Retry-After.
  8. Last-Modified, ETag и 304 на больших сайтах.
  9. Проверка кодов после каждого релиза.
FAQ

Частые вопросы

Какие HTTP-коды важны для SEO?

200 (страница доступна), 301 и 302 (постоянный и временный редиректы), 304 (не изменилась), 404 и 410 (страницы нет), 429 и 5xx (сервер перегружен или недоступен).

Что лучше для удалённой страницы — 404 или 410?

410 сообщает, что страница удалена навсегда, и обычно выпадает из индекса быстрее. 404 подходит для обычных несуществующих адресов. Если у страницы есть близкий аналог — лучше 301 на него.

Чем 301 отличается от 302 для SEO?

301 — постоянный переезд: поисковик заменяет старый адрес новым и переносит сигналы. 302 — временный: в индексе обычно остаётся старый адрес. При переезде и склейке дублей нужен 301.

Что такое soft 404?

Страница без полезного содержимого — пустой листинг, удалённый товар, страница ошибки, — которая отдаёт код 200. Поисковики исключают такие страницы, но тратят на них обход.

Как проверить код ответа страницы?

Инструментом проверки ответа сервера в Яндекс Вебмастере, проверкой URL в Search Console или краулером. Для полной картины нужны логи сервера — они показывают, что реально получали роботы.

Что отдавать роботам во время технических работ на сайте?

Код 503 с заголовком Retry-After. Тогда робот поймёт, что сайт временно недоступен, и вернётся позже, не удаляя страницы из индекса.

Получите бесплатный аудит, стратегию на 12 месяцев и прогноз продаж

Сергей Торкунов лично изучит проект и за 7 дней подготовит точки роста, план действий и один прогноз трафика, обращений и продаж. Для расчёта понадобятся доступы к Яндекс Метрике, Яндекс Вебмастеру и Google Search Console.