Something wrong with this tool?
Генератор robots.txt: выберите полный доступ, полный запрет или запрет по путям, при необходимости crawl-delay и строку Sitemap — скопируйте текст robots.txt в корень сайта. Быстрая обработка в браузере, где это возможно.Сначала проверяем ввод на сервере — ничего не запускается, пока вы не нажмёте «Запустить».