Un souci avec cet outil ?
À propos de « Générateur Robots.txt En Ligne »
Cet outil construit un fichier robots.txt pour votre site, indiquant aux crawlers et bots quels chemins indexer ou ignorer. Définissez des règles par user-agent (Googlebot, Bingbot, * générique), listez allow/disallow, ajoutez les URL de sitemap, et l'outil produit un robots.txt prêt à déployer.
Un robots.txt correct évite le crawl inutile des zones d'admin, pages de résultats de recherche et contenus privés, tout en pointant explicitement vers votre sitemap. Un robots.txt absent ou mal configuré peut gonfler l'index, ralentir le crawl ou bloquer accidentellement des pages publiques.
Placez le fichier à la racine du domaine (https://example.com/robots.txt). Ce n'est qu'une indication pour les bots bien élevés — ce n'est pas du contrôle d'accès, ne l'utilisez pas pour masquer du contenu sensible aux scrapers déterminés.
Comment utiliser cet outil
Générer un robots.txt pour votre site
Choisir le preset
« Preset » choisit entre `allow-all` (tous les bots peuvent tout crawler), `disallow-all` (tout bloquer — utile pour staging) ou `disallow-admin` (presque tout autorisé, `/admin` et `/private` interdits). Le choix écrit le bloc `User-agent: *`.
Sitemap URL (optionnel)
« Sitemap URL » ajoute en fin de fichier une ligne `Sitemap:` pointant vers votre sitemap XML. Les moteurs qui la trouvent la lisent sans soumission séparée. URL absolue (`https://example.com/sitemap.xml`).
Exécuter
Résultat : champ unique `robotsTxt`. Enregistrez-le comme fichier nommé littéralement `robots.txt` à la racine — il doit être accessible à `https://example.com/robots.txt` (pas `/blog/robots.txt`).
Ce que robots.txt n’est pas
C’est une demande, pas un blocage. Les bots qui jouent le jeu (Googlebot, Bingbot) respectent ; les crawlers malveillants ignorent. Pour un vrai contrôle d’accès, utilisez l’auth, des blocages IP ou du rate-limit — et n’y listez jamais de secrets (vous les annonceriez).