SSeowordSEO-инструмент

Бесплатный SEO-инструмент

Проверка robots.txt онлайн

Проверьте robots.txt на опасные Disallow, наличие Sitemap и правила для поисковых роботов. Найдите причины проблем с обходом сайта.

1. Что указатьURL сайта или robots.txt. Используйте реальный публичный адрес или данные страницы.
2. Что получитеМожно указать URL файла или вставить текст robots.txt вручную.
3. Что делать дальшеИсправьте одну подтверждённую проблему и повторите ту же проверку для того же URL.

Проверяйте только публичные страницы. Seoword делает серверный запрос к указанному URL, чтобы показать технические сигналы.

Результат появится здесь

Можно указать URL файла или вставить текст robots.txt вручную.

Зачем это нужно

Robots.txt управляет обходом сайта. Ошибка в одном правиле может закрыть важные разделы от crawler или, наоборот, открыть служебные URL.

Когда использовать

Используйте инструмент перед публикацией важной страницы, после редизайна, после смены CMS или когда SEO-аудит показывает связанную рекомендацию.

Как пользоваться

  1. Введите домен сайта, например https://example.com. Seoword сам попробует открыть /robots.txt.
  2. Проверьте, нет ли Disallow: / для User-agent: *.
  3. Убедитесь, что указан Sitemap и что служебные закрытия не затрагивают важные страницы.

Что делать с результатом

Сначала исправляйте критичные ошибки, затем предупреждения. После правки повторите проверку того же URL и переходите к следующему инструменту по цепочке.

Частые ошибки

  • Проверять черновик вместо опубликованной страницы.
  • Исправлять только текст, не перепроверяя HTML и HTTP-ответ.
  • Считать рекомендацию критичной ошибкой без проверки контекста.

Чек-лист проверки

  • Важные коммерческие и контентные страницы не закрыты от обхода.
  • Sitemap указан абсолютным URL.
  • Robots.txt не используется вместо noindex там, где нужно убрать страницу из индекса.

Инструкция

Как использовать этот инструмент в SEO-маршруте

Какие Disallow, Allow и служебные блоки в robots.txt могут закрыть важные страницы от обхода.

Проверка robots.txt: какие правила опасны для индексацииИнструменты: индексация и обход

Внутренняя проверка

Следующие SEO-инструменты

Проходите проверки как цепочку: один результат сразу подсказывает, что проверить следующим шагом.

BOT

Robots.txt Generator

Создание безопасного robots.txt со ссылкой на sitemap.xml.

Проверить →301

Redirect Checker

Проверка цепочки редиректов, финального URL и HTTP-статусов.

Следующий шаг →SEO

SEO-аудит

Проверка title, description, H1, canonical, Open Graph, robots meta, ссылок и базовой структуры страницы.

Проверить →#

Анализ мета-тегов

Разбор title, description, canonical, H1 и социальных тегов страницы.

Проверить →

Все 15 SEO-инструментов Как проводить аудит