Генератор robots.txt

Политика сканирования

Пути для запрета (через запятую)

URL карты сайта (необязательно)

User-agent (по умолчанию: *)

Результат

—

Предложить улучшение или запросить новый калькулятор.Получить бесплатный виджет для этого калькулятора

Этот инструмент генерирует файл robots.txt, например запрет /admin и /private создаёт файл, блокирующий эти пути и разрешающий всё остальное.

Выберите, разрешить ли полное сканирование или заблокировать конкретные пути, при желании добавьте URL карты сайта, и сгенерируйте готовый к использованию файл robots.txt для корневого каталога вашего сайта.

Расположение файла: robots.txt должен находиться в корне вашего домена (например, https://example.com/robots.txt), чтобы его распознавали поисковые системы.
Запрещённые пути должны начинаться с косой черты (например, /admin) — инструмент добавит её автоматически, если вы забудете.
Важно: robots.txt — это добровольный стандарт — добросовестные краулеры (например, Googlebot) его соблюдают, но он не блокирует доступ полностью и не является мерой безопасности для конфиденциального контента.

Стоит ли блокировать весь сайт от краулеров?

Обычно нет — блокировка всего (Disallow: /) не даёт поисковым системам индексировать сайт вообще, что редко нужно, кроме тестовых/разрабатываемых сайтов.

Зачем включать ссылку на карту сайта?

Указание на карту сайта в robots.txt помогает поисковым системам эффективнее находить все важные страницы.

Похожие калькуляторы