¿Algo va mal con esta herramienta?
Sobre «Generador De Robots.txt En Línea»
Esta herramienta construye un archivo robots.txt para tu sitio web, indicando a los crawlers y bots qué rutas deben y no deben indexar. Especifica reglas por user-agent (Googlebot, Bingbot, * genérico), lista rutas allow/disallow, añade URLs de sitemap, y la herramienta produce un robots.txt listo para desplegar.
Un robots.txt correcto evita el crawl innecesario de áreas de administración, páginas de resultados de búsqueda y contenido privado, mientras invita explícitamente a los crawlers a tu sitemap. Un robots.txt ausente o mal configurado puede causar índices hinchados, crawl lento o bloquear páginas públicas accidentalmente.
Coloca el archivo en la raíz de tu dominio (https://example.com/robots.txt). El archivo es solo una sugerencia a los bots educados — no fuerza control de acceso, así que no confíes en él para ocultar contenido sensible de scrapers determinados.
Cómo usar esta herramienta
Cómo generar un robots.txt para tu sitio
Elige el preset
«Preset» elige entre `allow-all` (todos los bots todo), `disallow-all` (bloquear todo a todos — útil para staging) o `disallow-admin` (permite casi todo, bloquea `/admin` y `/private`). La elección define el bloque `User-agent: *`.
URL de Sitemap (opcional)
«Sitemap URL» añade una línea `Sitemap:` al final apuntando a tu sitemap XML. Los buscadores que lo encuentran lo leen sin necesidad de envío aparte. Usa URL absoluta (`https://example.com/sitemap.xml`).
Ejecutar
Resultado: un único campo `robotsTxt`. Guárdalo como un archivo llamado literalmente `robots.txt` en la raíz del sitio — debe ser accesible en `https://example.com/robots.txt` (no `/blog/robots.txt`).
Lo que robots.txt no es
Es una petición, no una prohibición. Los bots educados (Googlebot, Bingbot) la respetan; los crawlers maliciosos la ignoran. Para un control de acceso real usa auth, bloqueos IP o rate-limit — y nunca pongas secretos en robots.txt (los estarías anunciando).