С этим инструментом что-то не так?
О «Генератор robots.txt Онлайн»
Этот инструмент собирает robots.txt — файл, который указывает поисковым ботам, какие пути индексировать, а какие нет. Задайте правила по user-agent (Googlebot, Bingbot, *), перечислите allow/disallow и адреса карт сайта — получите готовый robots.txt.
Правильный robots.txt экономит краулинг-бюджет, не пуская ботов в админку, страницы поиска и приват; одновременно явно зовёт их к sitemap. Ошибки приводят к раздутому индексу, медленному обходу или случайной блокировке публичных страниц.
Файл размещается в корне (https://example.com/robots.txt). Это лишь подсказка для дружелюбных ботов: контроля доступа не даёт — не используйте для сокрытия чувствительных данных.
Как пользоваться этим инструментом
Как сгенерировать robots.txt для сайта
Выбор пресета
"Preset" — между `allow-all` (всем ботам всё), `disallow-all` (запретить всем всё — удобно для staging) и `disallow-admin` (большинству можно, кроме `/admin` и `/private`). Это формирует блок `User-agent: *`.
Sitemap URL (опц.)
"Sitemap URL" добавит в конец строку `Sitemap:`, указывающую на XML-карту сайта. Поисковики, нашедшие её, прочтут без отдельной отправки. Используйте абсолютный URL (`https://example.com/sitemap.xml`).
Запуск
Результат: единственное поле `robotsTxt`. Сохраните как файл с именем `robots.txt` в корне сайта — он должен быть доступен по `https://example.com/robots.txt` (не `/blog/robots.txt`).
Что robots.txt не делает
Это просьба, а не запрет. Воспитанные боты (Googlebot, Bingbot) уважают; вредоносные краулеры игнорируют. Настоящий access-control — auth, IP-блоки, rate-limits. И никогда не перечисляйте секреты в robots.txt — вы их там фактически рекламируете.