Algo errado nesta ferramenta?
Sobre «Gerador De Robots.txt Online»
Esta ferramenta constrói um arquivo robots.txt para seu site, dizendo aos crawlers e bots de mecanismos de busca quais caminhos eles devem ou não indexar. Especifique regras por user-agent (Googlebot, Bingbot, * genérico), liste caminhos allow/disallow, adicione URLs de sitemap, e a ferramenta produz um robots.txt pronto para implantar.
Um robots.txt correto previne crawling desperdiçado de áreas administrativas, páginas de resultados de busca, e conteúdo privado, enquanto convida explicitamente crawlers para seu sitemap. robots.txt ausente ou mal configurado pode levar a índices inchados, crawling lento, ou bloqueio acidental de páginas públicas.
Coloque o arquivo resultante na raiz do seu domínio (https://example.com/robots.txt). O arquivo é apenas uma dica para bots bem-comportados — não impõe controle de acesso, então não confie nele para esconder conteúdo sensível de scrapers determinados.
Como usar esta ferramenta
Como gerar um robots.txt para o seu site
Escolha o preset
"Preset" escolhe entre `allow-all` (todos os bots, tudo), `disallow-all` (bloquear todos — bom para staging) ou `disallow-admin` (libera a maioria, bloqueia `/admin` e `/private`). A escolha define o bloco `User-agent: *`.
Sitemap URL (opcional)
"Sitemap URL" anexa no final uma linha `Sitemap:` apontando para seu sitemap XML. Buscadores que acharem isso leem sem submissão separada. Use URL absoluta (`https://example.com/sitemap.xml`).
Executar
Resultado: um único campo `robotsTxt`. Salve como arquivo literalmente chamado `robots.txt` na raiz do site — precisa estar acessível em `https://example.com/robots.txt` (não `/blog/robots.txt`).
O que robots.txt NÃO é
É um pedido, não bloqueio. Bots bem-comportados (Googlebot, Bingbot) respeitam; crawlers maliciosos ignoram. Para controle de acesso real use auth, bloqueio de IP ou rate-limit — e nunca liste segredos em robots.txt (estaria anunciando).