KI-Crawler in der robots.txt freigeben

Welche KI-Bots sollte ich in der robots.txt zulassen?

Wer von KI-Assistenten genannt werden möchte, sollte mindestens die Such-Bots zulassen: OAI-SearchBot, Claude-SearchBot, PerplexityBot und Bingbot. Die Bots für Abrufe auf Nutzerwunsch und die Trainings-Bots zuzulassen, ist für Unternehmen, die bekannt werden wollen, in der Regel ebenfalls sinnvoll, bleibt aber eine bewusste Entscheidung.

Der Hintergrund: Ein Such-Bot baut den Index auf, aus dem der Assistent später Quellen auswählt. Fehlt die Seite dort, kann sie nicht verlinkt werden. Ein Trainings-Bot sammelt dagegen Material, aus dem das Grundwissen künftiger Modelle entsteht. Wer dort fehlt, wird in Antworten ohne Websuche seltener erwähnt.

Was ist der Unterschied zwischen Trainings-Crawlern und Such-Crawlern?

Trainings-Crawler sammeln Inhalte, mit denen KI-Modelle trainiert werden. Such-Crawler indexieren Seiten, damit ein Assistent sie bei einer konkreten Frage findet und als Quelle verlinkt. Daneben gibt es Abrufe auf Nutzerwunsch: Der Bot holt eine Seite nur, weil eine Person gerade danach fragt.

Diese Dreiteilung ist wichtig, weil eine Sperre unterschiedliche Folgen hat:

• Training sperren heißt: künftige Modelle lernen Ihre Inhalte nicht. In der Websuche des Assistenten können Sie trotzdem erscheinen.
• Suche sperren heißt: Ihre Seiten werden nicht als Quelle in den Suchantworten des Assistenten verlinkt. Das ist für Unternehmen, die Anfragen gewinnen wollen, meist der größere Nachteil.
• Nutzerabrufe sperren heißt: Wenn jemand im Chat Ihre Adresse nennt oder eine Frage stellt, die Ihre Seite braucht, kann der Assistent sie nicht öffnen. Einige Anbieter weisen darauf hin, dass sich solche Abrufe nicht immer an die robots.txt halten.

Welche User-Agents gibt es und wofür crawlen sie?

Die wichtigsten Anbieter veröffentlichen ihre Bot-Namen und deren Zweck. Die folgende Tabelle fasst die Angaben aus den jeweiligen Primärquellen zusammen.

Quellen: OpenAI: Overview of OpenAI Crawlers, Anthropic: Crawler und Sperrmöglichkeiten, Perplexity Crawlers, Google: Common Crawlers und Google-Extended, Bing: Crawler von Bing, Apple: About Applebot, Common Crawl: CCBot.

### Besonderheiten bei Google und Apple Google-Extended und Applebot-Extended rufen selbst keine Seiten ab. Gecrawlt wird weiter vom Googlebot bzw. Applebot, die Tokens legen nur fest, wofür die Inhalte verwendet werden dürfen. Google stellt klar, dass Google-Extended weder die Aufnahme in die Google-Suche noch das Ranking beeinflusst. Für die KI-Funktionen der Google-Suche, also AI Overviews und AI Mode, ist laut Google-Dokumentation zu KI-Funktionen der normale Googlebot maßgeblich. Wer dort erscheinen will, braucht nichts Zusätzliches, darf den Googlebot aber auch nicht aussperren.

### Warum Bingbot in diese Liste gehört Microsoft Copilot holt Webinhalte über den Bing-Suchdienst. Das beschreibt Microsoft in der Dokumentation zur Websuche in Copilot. Eine Seite, die Bingbot nicht crawlen darf, fehlt deshalb auch als Quelle in Copilot. Wie Sie neue Seiten schneller in den Bing-Index bringen, steht im Ratgeber IndexNow und Bing Webmaster Tools.

Wie sieht eine robots.txt aus, die KI-Bots freigibt?

Eine robots.txt, die nichts verbietet, lässt alle Bots zu. Ausdrückliche Regeln für KI-Bots brauchen Sie vor allem dann, wenn es eine allgemeine Sperre gibt oder wenn Sie bestimmte Bereiche für alle Bots ausschließen wollen.

Ein Beispiel, das alle hier genannten KI-Bots zulässt und nur einen internen Bereich sperrt:

• User-agent: GPTBot
• User-agent: OAI-SearchBot
• User-agent: ChatGPT-User
• User-agent: ClaudeBot
• User-agent: Claude-SearchBot
• User-agent: Claude-User
• User-agent: PerplexityBot
• User-agent: Perplexity-User
• User-agent: Google-Extended
• User-agent: Applebot-Extended
• User-agent: CCBot
• Allow: /
• Disallow: /intern/
• User-agent: *
• Allow: /
• Disallow: /intern/
• Sitemap: https://www.ihre-domain.de/sitemap.xml

### Worauf Sie dabei achten sollten - Eine Gruppe pro Bot gilt allein. Findet ein Bot eine Gruppe mit seinem Namen, befolgt er nur diese und ignoriert die Regeln unter User-agent: *. Deshalb muss die Sperre für /intern/ in beiden Gruppen stehen. So beschreiben es der Standard RFC 9309 und Googles Erklärung zur robots.txt. - Jede Subdomain braucht eine eigene Datei. Anthropic weist ausdrücklich darauf hin, dass die Regeln je Subdomain gelten. - robots.txt ist kein Zugriffsschutz. Vertrauliche Inhalte gehören hinter ein Login, nicht nur hinter ein Disallow. - noindex und Disallow nicht kombinieren. Ein Bot muss eine Seite abrufen können, um ein noindex zu lesen. Seiten mit noindex gehören außerdem nicht in die Sitemap.

Blockiert Cloudflare KI-Bots automatisch?

Ja, das ist möglich. Cloudflare hat am 1. Juli 2025 angekündigt, KI-Crawler ohne Erlaubnis standardmäßig zu blockieren, und fragt seitdem jede neu angemeldete Domain, ob KI-Crawler zugelassen werden sollen. Für Domains, die ab dem 15. September 2026 neu hinzukommen, hat Cloudflare die Voreinstellungen noch einmal geändert.

Laut Pressemitteilung von Cloudflare startet jede neue Domain mit Kontrolle über KI-Crawler, die Freigabe muss also aktiv erfolgen. Die aktuelle Cloudflare-Dokumentation „Block AI Bots“ beschreibt drei Kategorien:

• Search: Crawler, die Inhalte indexieren, um später Fragen damit zu beantworten
• Agent: Abrufe in Echtzeit im Auftrag einer Person, etwa Chat-Abrufe
• Training: Crawler für das Training von Modellen, einschließlich Mischformen aus Training und Suche

Für neue Domains ab dem 15. September 2026 sieht die Dokumentation vor, Training und Agent auf Seiten mit Werbung zu blockieren, Search bleibt erlaubt. Mischformen aus Suche und Training werden von allen Einstellungen gesperrt, die Training blockieren. Die Einstellung finden Sie im Cloudflare-Dashboard unter Security Settings und Configure AI bot policies. Prüfen Sie dort, ob eine der Kategorien auf „Block“ steht, wenn Sie trotz offener robots.txt nicht in KI-Antworten auftauchen.

Google empfiehlt in seinen Hinweisen zu KI-Funktionen ebenfalls, nicht nur die robots.txt, sondern auch CDN und Hosting auf Sperren zu prüfen.

Wie prüfe ich, ob die Freigabe funktioniert?

Am zuverlässigsten zeigen das die Server-Logs: Tauchen dort Zugriffe von GPTBot, OAI-SearchBot, ClaudeBot oder PerplexityBot mit Status 200 auf, ist der Weg frei. Ergänzend lässt sich ein Abruf mit dem jeweiligen User-Agent simulieren.

Ein einfacher Test auf der Kommandozeile ist curl -I -A GPTBot https://www.ihre-domain.de/. Antwortet der Server mit 403 oder einer Challenge-Seite, sperrt meist eine Firewall oder das CDN. Beachten Sie, dass Cloudflare echte Bots auch an ihrer IP-Adresse erkennt, ein simulierter Abruf zeigt also nicht jede Regel. Wie Sie darüber hinaus messen, ob KI-Assistenten Ihr Unternehmen tatsächlich nennen, erklärt der Ratgeber KI-Sichtbarkeit selbst prüfen.

Brauche ich zusätzlich eine llms.txt?

Nein, für die Freigabe von KI-Bots ist sie nicht nötig. Entscheidend sind robots.txt, CDN-Einstellungen und Inhalte, die ohne JavaScript im HTML stehen. Google schreibt, dass für AI Overviews und AI Mode keine neuen maschinenlesbaren Dateien oder KI-Textdateien nötig sind.

Mehr dazu im Ratgeber llms.txt: braucht man das?. Einen Überblick, welcher Assistent welchen Suchindex nutzt, gibt Woher KI-Assistenten ihre Quellen nehmen. Wenn Sie die technische Seite Ihrer Website prüfen lassen möchten, finden Sie unsere Leistung unter Generative Engine Optimization.