Robots.txt-Generator

Was der Robots.txt-Generator leistet

Der Robots.txt-Generator erstellt die kleine Textdatei, die Suchmaschinen-Crawlern mitteilt, welche Bereiche Ihrer Website sie abrufen dürfen und welche nicht. Aus einer User-Agent-Zeile, einer Liste von Disallow-Pfaden, einer optionalen Liste von Allow-Ausnahmen, einem optionalen Crawl-Delay und Ihrer Sitemap-URL erzeugt er eine korrekt formatierte robots.txt, die Sie kopieren oder herunterladen können. Die Datei folgt dem Robots-Exclusion-Protokoll: Jede Gruppe beginnt mit einer User-agent-Direktive, gefolgt von Disallow- und Allow-Regeln, die für diesen Agenten gelten.

Dies ist die erste Datei, die die meisten Crawler beim Besuch einer Website abrufen – eine korrekte Konfiguration wirkt sich daher überproportional darauf aus, wie effizient Ihre Seiten entdeckt werden. Das Sperren von wenig wertvollen Bereichen – interne Suchergebnisse, Facetten-Filter-URLs, Warenkorb- und Checkout-Seiten, Admin-Bereiche – hilft Crawlern, ihr Budget für die Inhalte zu nutzen, die Sie wirklich indexiert haben möchten. Der Verweis auf Ihre Sitemap in der robots.txt liefert zudem jedem Crawler eine verlässliche Übersicht Ihrer wichtigen URLs, auch solcher, die er über interne Links vielleicht nicht erreichen würde.

Privater Workflow im Browser

Die Datei wird lokal mit clientseitigem JavaScript erzeugt. Keiner der eingegebenen Pfade, Agentennamen oder Sitemap-URLs wird hochgeladen – die Ausgabe entsteht im Arbeitsspeicher und wird als kopierbarer Textblock und als Download angeboten. So bleiben unveröffentlichte Verzeichnisstrukturen und Staging-URLs geschützt, während Sie die Datei vorbereiten.

Praktische Tipps

Beachten Sie, dass Disallow das Crawling steuert, nicht die Indexierung: Eine gesperrte URL kann trotzdem in den Suchergebnissen erscheinen, wenn andere Websites auf sie verlinken. Verwenden Sie daher ein noindex-Meta-Tag oder einen HTTP-Header, wenn eine Seite wirklich nicht in den Ergebnissen auftauchen soll. Sperren Sie niemals Ihre CSS- oder JavaScript-Verzeichnisse, denn Suchmaschinen benötigen sie, um die Seite darzustellen und zu verstehen. Die Reihenfolge spielt weniger eine Rolle als die Spezifität – die meisten Crawler beachten die längste passende Regel – und eine leere Zeile Disallow: bedeutet „alles erlauben“. Legen Sie die fertige Datei immer im Stammverzeichnis Ihrer Domain ab, testen Sie sie im robots.txt-Tester der Google Search Console und prüfen Sie sie nach Website-Migrationen erneut, denn ein versehentliches Disallow: / versteckt Ihre gesamte Website.