meta robots управляет индексированием и представлением HTML-страницы, а HTTP-заголовок X-Robots-Tag позволяет задать те же правила для PDF, изображений и других файлов. Чтобы noindex сработал, робот должен получить URL и прочитать указание: не закрывайте такую страницу в robots.txt до удаления из поиска.
Что обновлено 24.08.2026: добавлена таблица технической приёмки и условия отката.
Таблица технической приёмки: Meta robots и X-Robots
Проверка директивы индексирования выполняется на нескольких состояниях шаблона, а не на одном удачном URL. Сначала сохраняют исходный код и HTTP-заголовки, затем сравнивают их с отрисованным DOM и ожидаемым поведением.
| Сценарий | Что проверить | Нормальный результат | Исправление |
|---|---|---|---|
| HTML-страница для удаления | Ответ 200 и meta robots в исходном head | noindex доступен роботу | Не закрывать URL в robots.txt до считывания директивы |
| PDF или другой файл | HTTP-заголовок ответа | X-Robots-Tag содержит noindex | Настроить заголовок на уровне сервера |
| Индексируемая страница | HTML и HTTP-заголовки | Нет noindex и конфликтующих правил | Удалить случайную директиву из шаблона |
| Страница-дубль | canonical, код и содержимое | Canonical ведёт на равнозначный URL | Не подменять canonical директивой noindex без причины |
| URL закрыт robots.txt | robots.txt и проверка URL | Решение соответствует задаче обхода | Открыть обход, если робот должен увидеть noindex |
До и после релиза
До выпуска владелец шаблона проверяет тестовую выборку и фиксирует условие блокировки. После выпуска SEO-специалист повторяет запросы к production, а разработчик просматривает логи и массовые отклонения. Откат нужен, если полезные страницы получают ошибочную директиву, теряют основной контент или массово меняют код ответа. Закрывать задачу можно только после повторной проверки тем же способом.
Какой инструмент выбрать
| Задача | Инструмент | Пример |
|---|---|---|
| Не индексировать HTML-страницу | meta name=robots | noindex |
| Не индексировать PDF или файл | X-Robots-Tag | noindex |
| Ограничить обход пути | robots.txt | Disallow: /search/ |
| Объединить дубли | rel=canonical или 301 | Предпочтительная версия URL |
| Закрыть приватные данные | Авторизация | HTTP 401/403 и контроль доступа |
| Ограничить отдельную ссылку | rel на ссылке | nofollow/sponsored/ugc по назначению |
Основные директивы
index и follow
Это поведение по умолчанию для доступной страницы, поэтому явно добавлять index, follow обычно не требуется. Наличие этих слов не отменяет robots.txt, HTTP-статус, canonical или другие препятствия.
noindex
Просит поисковую систему не показывать страницу в результатах. Применяйте для служебных, промежуточных или пользовательских страниц, которые доступны без авторизации, но не должны участвовать в поиске. Для удаленного ресурса правильнее вернуть 404/410, а для дубля — решить каноникализацию.
nofollow
Просит не следовать ссылкам на странице или не учитывать их обычным образом, но не является гарантией, что адреса никогда не будут обнаружены другими путями. Не используйте nofollow как основной механизм управления внутренним весом сайта. Для рекламных и пользовательских ссылок применяйте подходящие значения rel на самих ссылках.
nosnippet и ограничения превью
Дополнительные директивы могут ограничивать текстовый или медиафрагмент в выдаче. Они влияют на представление страницы, поэтому перед массовым внедрением проверьте бизнес-эффект на отдельном шаблоне и следите за CTR.
Безопасный регламент внедрения noindex
Опишите, почему страница не должна быть в поиске и что должно остаться доступным пользователю.
Убедитесь, что это не дубль, который правильнее объединить canonical или 301.
Проверьте отсутствие блокировки URL в robots.txt.
Добавьте meta robots в исходный HTML или X-Robots-Tag в HTTP-ответ.
Проверьте фактический ответ для обычного и целевого поискового робота.
Уберите URL из Sitemap и индексируемых внутренних списков.
Дождитесь повторного обхода и подтвердите исключение в панелях вебмастеров.
Только после этого решайте, нужен ли дополнительный запрет обхода.
X-Robots-Tag для файлов
HTTP-заголовок удобен, когда у документа нет HTML head: PDF, изображение, видео или автоматически сформированный файл. Правило можно задавать на уровне конкретного ответа, типа файлов или каталога сервера. Чем шире шаблон, тем обязательнее тестовая выборка: ошибочная маска может закрыть весь медиакаталог.
Как проверить
Meta robots присутствует в исходном HTML и не добавляется только после ошибки JavaScript.
HTTP-ответ не содержит второго противоречащего X-Robots-Tag.
Страница отвечает ожидаемым кодом, а не редиректит до чтения директивы.
robots.txt позволяет роботу получить noindex.
Canonical не указывает на URL, который команда одновременно пытается удалить.
URL исключен из Sitemap после изменения стратегии.
Шаблон проверен краулером на всем наборе страниц, а не на одном URL.
После релиза настроен контроль случайного noindex на трафиковых страницах.
Типичные конфликты
noindex на странице, одновременно закрытой Disallow.
noindex на целевой странице canonical или hreflang.
Разные правила в meta robots и X-Robots-Tag.
Массовый nofollow на внутренней навигации.
X-Robots-Tag применяется ко всем PDF, включая полезные документы.
URL остается в Sitemap после запрета индексации.
Тестовый noindex переносится на production вместе с шаблоном.
Частые вопросы
Можно ли удалить страницу через robots.txt?
Это ненадежный способ: запрещенный URL может остаться известным поиску по внешним и внутренним ссылкам, а робот не увидит noindex. Для удаления дайте роботу доступ к noindex либо верните корректный статус отсутствия.
Нужно ли писать noindex, follow?
Можно, если страница не нужна в выдаче, но робот должен видеть ссылки. Однако со временем поведение ссылочных сигналов на долго неиндексируемой странице может меняться. Стройте важную навигацию через индексируемые страницы, а не рассчитывайте на служебный URL.
Приёмка обновлённой версии
проверены исходный HTML, HTTP-заголовки и итоговый DOM;
контрольная выборка включает нормальные и ошибочные состояния;
критическая ошибка блокирует масштабирование;
условие отката и владелец известны до релиза;
задача закрыта после повторной проверки production.
Итог
Директива доступна роботу, соответствует типу ресурса и не конфликтует с robots.txt. Масштабировать решение можно только после проверки на реальных URL и фактических данных проекта; если критерии не выполняются, сначала исправляют причину, а не увеличивают объём страниц, публикаций или автоматизации.
Получите бесплатный аудит и стратегию роста
Изучим сайт, покажем точки роста и подготовим прогноз до квалифицированных лидов и оборота из SEO/GEO.