Screaming Frog — десктопный краулер, который обходит сайт по ссылкам и собирает технические признаки URL. Хороший аудит начинается не с экспорта всех вкладок, а с настройки границ обхода и проверки полноты данных. После запуска URL группируют по шаблонам и причинам, сопоставляют с реальным поведением сайта и только затем превращают в задачи. Краулер показывает наблюдение — код ответа, canonical, метатег, ссылку, размер или содержимое, — но решение зависит от назначения страницы.
Что подготовить до запуска
Зафиксируйте домен и протокол, рабочее зеркало, поддомены, тестовую среду, правила авторизации, допустимую нагрузку и перечень шаблонов. Сохраните текущую конфигурацию проекта, чтобы повторный обход был сопоставимым.
Если сайт меняет содержимое по региону, cookie или заголовку языка, задайте условия заранее. Если важный контент появляется только после JavaScript, запланируйте отдельный обход с рендерингом и сравнение исходного и отрисованного HTML.
Настройка обхода
Область сайта
Проверьте, должен ли краулер идти по всем поддоменам, внешним ресурсам, параметрам, пагинации и hreflang. Ограничения Include/Exclude используйте только после теста на небольшой выборке: слишком широкое правило создаёт шум, слишком узкое — незаметно теряет важный раздел.
User-agent и robots.txt
Обычный обход показывает сайт так, как его видит выбранный user-agent с учётом robots.txt. Для диагностики можно провести отдельный контрольный запуск с другой конфигурацией, но его нельзя смешивать с основным отчётом: иначе закрытые URL будут выглядеть как обычные доступные страницы.
HTML или JavaScript
Режим Text Only анализирует исходный HTML. JavaScript-рендеринг выполняет клиентский код и позволяет сравнить исходное и итоговое DOM-состояние. Рендеринг нужен не всегда: он медленнее и создаёт больше нагрузки. Сначала определите, влияет ли JavaScript на текст, ссылки, canonical, метаданные или ключевые элементы страницы.
Семь контрольных проверок после настройки
| Проверка | Что сверить | Эталон | Причина расхождения | Действие |
|---|---|---|---|---|
| Полнота обхода | Число и состав URL по шаблонам | Присутствуют все ожидаемые разделы | Нет стартовой ссылки, мешает Include/Exclude или robots.txt | Открыть Inlinks и конфигурацию, повторить малую выборку |
| Зеркало и протокол | Хост, HTTP/HTTPS, слэш | Один согласованный вариант URL | Краулер стартовал с неканонического зеркала | Исправить стартовый адрес и проверить редиректы |
| Коды ответа | Response Code и Redirect URL | Целевые страницы — 200; переносы ведут прямо на конечный URL | Цепочки, циклы, временный ответ сервера | Проверить вручную и исправить маршрут |
| Canonical | Canonical Link Element 1 и статус | Один ожидаемый канонический URL | Относительный, отсутствующий или конфликтующий canonical | Исправить шаблон и внутренние ссылки |
| Индексируемость | Indexability и причина | Состояние соответствует назначению страницы | noindex, robots или canonical применены не к тому шаблону | Найти источник директивы и согласовать правило |
| Внутренние ссылки | Inlinks, глубина, тип ссылки | Важные URL доступны обычными ссылками | Ссылка только в JS-событии или страница-сирота | Добавить <a href> и связать с архитектурой |
| Рендеринг | Исходный и rendered HTML | Ключевые элементы совпадают по смыслу | Текст, ссылка или метаданные появляются/исчезают после JS | Исправить серверную отдачу или клиентский рендеринг |
Порядок анализа результатов
Начинайте с системных ограничений: недоступность разделов, ошибки сервера, конфликт robots/noindex/canonical, сломанные редиректы и потеря ссылок. Затем переходите к дублям, метатегам, глубине, изображениям и содержимому.
Каждую проблему группируйте по причине и шаблону. Сто одинаковых ошибок на карточках товара — это одна задача к компоненту, а не сто независимых задач. В выгрузке сохраняйте пример URL, затронутый шаблон, правило обнаружения, приоритет, владельца и критерий приёмки.
Почему одинаковый график может означать разные действия
Рост числа исключённых или недоступных URL сам по себе не является диагнозом. Если он совпал со снятием устаревших страниц и корректными редиректами, это ожидаемое изменение. Если тот же сигнал появился после релиза маршрутизации и затронул целевые категории, это инцидент. Если количество изменилось только в краулере, а консоли и ручная выборка не подтверждают проблему, сначала проверяют конфигурацию сбора.
Вывод строится по цепочке: какой источник изменился, какие шаблоны затронуты, что произошло с кодом ответа и директивами, было ли изменение запланировано и какое действие восстанавливает ожидаемое состояние.
Расширенные сценарии
Custom Extraction подходит для полей, которых нет в стандартных вкладках: наличие цены, автора, даты, идентификатора товара или блока характеристик. Custom Search помогает найти фрагменты кода и текста. Сравнение обходов полезно после миграции и релиза, но только если конфигурация, область и условия запроса совпадают.
Интеграции с поисковыми консолями и аналитикой дополняют crawl реальными показами, переходами и поведением. Они не исправляют ошибки автоматически и требуют проверки периода, прав доступа, фильтров и соответствия URL.
Как превратить экспорт в задачи
Вместо списка «все URL с проблемой» оформляйте задачу так:
наблюдение и поле Screaming Frog;
затронутый шаблон и правило отбора;
подтверждение ручной проверкой;
ожидаемое техническое состояние;
изменение в источнике или компоненте;
контрольная выборка и полный повторный crawl;
условие закрытия и отката.
Бесплатная и платная версия
Для небольшой точечной проверки достаточно базового обхода. Крупные сайты, сохранение проектов, интеграции, расширенная конфигурация и JavaScript-рендеринг требуют возможностей полной версии. Выбор лицензии не влияет на методику: сначала задаётся вопрос, затем конфигурация, контроль качества и только после этого анализ.
Приёмочный чек-лист
область обхода соответствует задаче;
ключевые шаблоны присутствуют в выборке;
robots.txt и user-agent зафиксированы;
HTML- и JavaScript-режимы не смешаны без пояснения;
ошибки подтверждены ручной проверкой;
задачи сгруппированы по причине, а не по числу URL;
после исправления повторён тот же сценарий.
Итог
Screaming Frog полезен тогда, когда обход воспроизводим, а каждое наблюдение связано с назначением страницы и конкретным действием. Экспорт без проверки конфигурации — это набор строк, а не технический аудит.
Получите бесплатный аудит и стратегию роста
Изучим сайт, покажем точки роста и подготовим прогноз до квалифицированных лидов и оборота из SEO/GEO.