Stimmt etwas mit diesem Tool nicht?

Über „Robots.txt-Generator Online“

Dieses Tool baut eine robots.txt für Ihre Website: sie sagt Crawlern und Bots, welche Pfade sie indexieren sollen und welche nicht. Regeln pro User-Agent (Googlebot, Bingbot, *), Allow/Disallow-Pfade und Sitemap-URLs — Output ist eine deployfertige Datei.

Eine korrekte robots.txt vermeidet unnötiges Crawlen von Admin-Bereichen, Such-Ergebnisseiten und Privatem und lädt zur Sitemap ein. Fehlende oder fehlerhafte Datei führt zu überfluteten Indizes, langsamen Crawls oder versehentlich blockierten öffentlichen Seiten.

Datei in den Domain-Root (https://example.com/robots.txt) legen. Es ist nur ein Hinweis an gut erzogene Bots — keine Zugriffskontrolle. Sensible Inhalte nie damit verstecken.

So nutzt du dieses Tool

Eine robots.txt für die Website generieren

  1. Preset wählen

    «Preset» wählt zwischen `allow-all` (alle Bots dürfen alles), `disallow-all` (alle Bots gesperrt — gut für Staging) und `disallow-admin` (meiste erlauben, `/admin` und `/private` sperren). Die Wahl bestimmt den `User-agent: *`-Block.

  2. Sitemap-URL (optional)

    «Sitemap URL» hängt am Ende eine `Sitemap:`-Zeile an, die auf Ihre XML-Sitemap zeigt. Suchmaschinen, die das finden, lesen es ohne separate Einreichung. Absolute URL nutzen (`https://example.com/sitemap.xml`).

  3. Ausführen

    Ergebnis: einzelnes Feld `robotsTxt`. Als Datei mit dem exakten Namen `robots.txt` im Root der Site speichern — sie muss unter `https://example.com/robots.txt` (nicht `/blog/robots.txt`) erreichbar sein.

  4. Was robots.txt nicht ist

    Es ist eine Bitte, keine Erzwingung. Brave Bots (Googlebot, Bingbot) halten sich daran; bösartige Crawler ignorieren es. Für echte Zugriffskontrolle: Auth, IP-Blocks, Rate-Limits — und nie Geheimnisse in robots.txt listen (das wäre Werbung dafür).

Ähnliche Tools