Rechner
robots.txt-Generator für KI-Crawler
Kurz erklärt
Der Generator erstellt eine robots.txt, die Such-, Trainings- und Nutzer-Crawler von KI-Anbietern getrennt steuert. Eine Gegenprobe zeigt sofort, welcher Crawler welche Bereiche lesen darf. Die Datei entsteht in Ihrem Browser und wird nirgends gespeichert.
Wählen Sie eine Vorlage oder einzelne Crawler, tragen Sie gesperrte Bereiche und Ihre Sitemap ein und kopieren Sie das Ergebnis. Die Gegenprobe unter der Ausgabe liest die erzeugte Datei mit demselben Regelwerk wie ein Crawler.
Was ist der Unterschied zwischen Such-, Trainings- und Nutzer-Crawlern?
Such-Crawler füllen den Index, aus dem KI-Assistenten ihre Quellen nennen. Trainings-Crawler sammeln Texte für künftige Modelle. Nutzer-Crawler rufen eine Seite ab, wenn eine Person im Chat ausdrücklich danach fragt.
| Gruppe | Beispiele | Folge einer Sperre |
|---|---|---|
| KI-Suche und Suchmaschinen | Googlebot, Bingbot, OAI-SearchBot, Claude-SearchBot, PerplexityBot, Applebot | Die Seite fehlt in Suchergebnissen und als Quelle in KI-Antworten |
| Modelltraining | GPTBot, ClaudeBot, Google-Extended, Applebot-Extended, CCBot, meta-externalagent | Künftige Modelle lernen Ihre Inhalte nicht; Nennungen über die Suche bleiben möglich |
| Abruf auf Nutzeranfrage | ChatGPT-User, Claude-User, Perplexity-User | Abrufe aus dem Chat werden gebeten zu unterbleiben; laut OpenAI und Perplexity gilt die robots.txt hier nicht unbedingt |
Sollte ich KI-Training sperren?
Das hängt davon ab, was Ihnen wichtiger ist. Unternehmen, die von KI-Assistenten als Anbieter genannt werden wollen, lassen das Training in der Regel zu, damit Modelle Marke und Angebot kennen. Wer Inhalte verkauft, etwa Fachartikel hinter einer Bezahlschranke, sperrt das Training eher und lässt nur die Suche zu.
Die Vorlage „Suche ja, Training nein“ setzt genau diesen Mittelweg um. Sie hält Ihre Seite in der Google-Suche, in Bing und Copilot sowie in der Suche von ChatGPT, Claude und Perplexity. Sperren Sie nie Googlebot oder Bingbot, wenn Sie gefunden werden wollen. Der Generator warnt, sobald Sie das tun.
Warum stehen die gesperrten Bereiche in jeder Gruppe?
Weil ein Crawler nur der Gruppe folgt, die seinen Namen trägt. Hat OAI-SearchBot eine eigene Gruppe, ignoriert er alle Regeln unter „User-agent: *“. Ein Bereich wie /intern/ muss deshalb in jeder Gruppe erneut gesperrt werden.
Dieser Fehler ist verbreitet: Eine Website sperrt ihren Kundenbereich unter „User-agent: *“ und gibt danach einzelnen Bots eine eigene Gruppe mit „Allow: /“. Für diese Bots ist der Kundenbereich dann offen. Der Generator schreibt die Pfade automatisch in jede Gruppe. In der Gegenprobe sehen Sie für den ersten gesperrten Pfad, dass er für alle Crawler gesperrt ist.
Wo lege ich die robots.txt ab und wie prüfe ich sie?
Die Datei heißt genau robots.txt und liegt im Hauptverzeichnis der Domain, also unter https://www.ihre-domain.de/robots.txt. Jede Subdomain braucht eine eigene Datei. Nach dem Hochladen rufen Sie die Adresse im Browser auf und prüfen sie mit dem KI-Sichtbarkeits-Check.
Hinweise zum Hochladen:
- Bei Hosting mit Dateizugang (FTP, SFTP) legen Sie die Datei in das Wurzelverzeichnis der Website.
- WordPress erzeugt ohne echte Datei eine virtuelle robots.txt. SEO-Plugins bieten meist einen Editor dafür. Eine echte Datei im Hauptverzeichnis hat Vorrang.
- Bei Baukastensystemen wie Wix, Jimdo oder Shopify ist die robots.txt oft nur eingeschränkt änderbar. Prüfen Sie die Hilfe Ihres Anbieters.
- Google liest eine geänderte robots.txt in der Regel innerhalb eines Tages neu ein. In der Google Search Console können Sie einen erneuten Abruf anstoßen.
Wie sieht eine robots.txt aus, die KI-Suche erlaubt?
Die folgende Vorlage lässt alle Crawler zu, sperrt das Training von GPTBot und CCBot und schützt einen internen Bereich. Sie entspricht ungefähr der Vorlage „Suche ja, Training nein“ in Kurzform.
User-agent: *
Disallow: /intern/
User-agent: GPTBot
User-agent: ClaudeBot
User-agent: Google-Extended
User-agent: CCBot
Disallow: /
Sitemap: https://www.ihre-domain.de/sitemap.xmlErsetzen Sie die Sitemap-Adresse durch Ihre eigene und passen Sie die Pfade an.
Wie entsteht die Datei technisch?
Vollständig in Ihrem Browser. Das Skript setzt Ihre Auswahl in Gruppen nach RFC 9309 um und fasst Crawler mit gleicher Behandlung in einer Gruppe zusammen. Anschließend liest es die erzeugte Datei mit demselben Parser wie der KI-Sichtbarkeits-Check und zeigt das Ergebnis je Crawler.
Die Regeln der Auswertung: Der Crawler-Name wird ohne Rücksicht auf Groß- und Kleinschreibung verglichen, die längste passende Regel gewinnt, bei Gleichstand gewinnt Allow. Die Liste der Crawler pflegen wir anhand der Dokumentation der Anbieter, Stand Oktober 2026.
### Quellen - RFC 9309, Robots Exclusion Protocol: rfc-editor.org/rfc/rfc9309 - Google, robots.txt erstellen und einreichen: developers.google.com/search/docs/crawling-indexing/robots/create-robots-txt - Google, Crawler und Google-Extended: developers.google.com/search/docs/crawling-indexing/google-common-crawlers - OpenAI: platform.openai.com/docs/bots - Anthropic: support.anthropic.com - Perplexity: docs.perplexity.ai/guides/bots - Apple: support.apple.com/en-us/119829 - Common Crawl: commoncrawl.org/ccbot - Meta: developers.facebook.com/docs/sharing/webmasters/web-crawlers
Häufige Fragen
Wie schreibe ich eine robots.txt, die KI-Suchbots zulässt?
Lassen Sie mindestens Googlebot, Bingbot, OAI-SearchBot, Claude-SearchBot und PerplexityBot zu. Am einfachsten wählen Sie im Generator die Vorlage „Alle zulassen“ oder „Suche ja, Training nein“ und laden die fertige Datei herunter.
Sperrt Google-Extended meine Seite für AI Overviews?
Nein. Google-Extended betrifft nur das Training und Grounding von Gemini. AI Overviews und der KI-Modus nutzen den normalen Google-Index, den Googlebot befüllt.
Muss ich jeden KI-Crawler einzeln aufführen?
Nein. Crawler ohne eigene Gruppe folgen „User-agent: *“. Eine eigene Gruppe brauchen Sie nur für Crawler, die anders behandelt werden sollen. Der Generator führt alle bekannten KI-Crawler trotzdem auf, damit Ihre Entscheidung in der Datei sichtbar ist.
Ist eine robots.txt ein Schutz vor Datensammlung?
Nein. Die robots.txt ist eine Bitte, an die sich seriöse Anbieter halten. Wer Inhalte wirklich schützen muss, braucht einen Login oder eine serverseitige Sperre.
Brauche ich zusätzlich eine llms.txt?
Nicht zwingend. Die llms.txt ist ein Vorschlag, den die großen Anbieter bislang nicht als Standard übernommen haben. Die robots.txt bleibt die verbindliche Steuerung für Crawler.