KI-Sichtbarkeits-Check: Dürfen KI-Crawler Ihre Website lesen?

Was prüft der KI-Sichtbarkeits-Check?

Der Check beantwortet zwei Fragen: Lässt Ihre robots.txt die wichtigsten KI-Crawler zu, und steht der Inhalt Ihrer Seite so im HTML, dass ein Crawler ohne JavaScript ihn versteht? Zusätzlich erzeugt er Befehle, mit denen Sie selbst prüfen, ob Ihr Server die Crawler tatsächlich durchlässt.

Warum muss ich robots.txt und Quelltext selbst einfügen?

Weil das Werkzeug ohne eigenen Server arbeitet. Ein Browser darf aus Sicherheitsgründen keine fremden Websites im Hintergrund abrufen und auslesen (Same-Origin-Policy). Ein Abruf wäre nur über einen Server möglich, der Ihre Adresse protokollieren könnte. Wir haben uns für die Variante entschieden, bei der Ihre Daten Ihren Rechner nicht verlassen.

Das Einfügen dauert weniger als eine Minute. Nach Eingabe der Adresse erscheint ein Link zu Ihrer robots.txt. Den Seitenquelltext öffnen Sie mit Strg+U (Mac: Wahl+Befehl+U). Wichtig ist der Seitenquelltext und nicht die Ansicht in den Entwicklertools: Nur der Quelltext zeigt, was der Server ausliefert, bevor JavaScript läuft. Genau das bekommt ein Crawler, der kein JavaScript ausführt.

Welche KI-Crawler gibt es und wofür sind sie da?

KI-Anbieter betreiben getrennte Crawler für drei Zwecke: für ihre Suche, für das Training ihrer Modelle und für Abrufe, die eine Person im Chat auslöst. Sie lassen sich in der robots.txt einzeln steuern. Wer in KI-Antworten als Quelle erscheinen will, darf vor allem die Such-Crawler nicht sperren.

Zwei Besonderheiten: Google-Extended zu sperren entfernt Ihre Seite weder aus der Google-Suche noch aus den AI Overviews. Und bei Abrufen, die eine Person auslöst, geben OpenAI und Perplexity an, dass die robots.txt dort nicht unbedingt gilt.

Wie wertet das Werkzeug die robots.txt aus?

Nach dem Standard RFC 9309, an den sich Google und die großen KI-Anbieter halten. Jeder Crawler folgt nur der Gruppe, die seinen Namen trägt, und nur ohne eigene Gruppe der Gruppe „User-agent: *“. Innerhalb der Gruppe gewinnt die längste passende Regel, bei Gleichstand gewinnt Allow.

Im Einzelnen:

• Groß- und Kleinschreibung spielt beim Crawler-Namen keine Rolle, beim Pfad schon.
• steht für beliebig viele Zeichen, $ für das Ende der Adresse. Disallow: /.pdf$ sperrt also alle PDF-Dateien.
• Ein leeres Disallow: sperrt nichts.
• Die robots.txt selbst ist immer abrufbar.
• Mehrere Gruppen mit demselben Crawler-Namen werden zusammengeführt.

Ein häufiger Fehler zeigt sich dabei sofort: Wer einem Crawler eine eigene Gruppe gibt, etwa um ihn ausdrücklich zuzulassen, muss gesperrte Bereiche dort wiederholen. Die Regeln aus „User-agent: *“ gelten für ihn dann nicht mehr.

Woran erkenne ich, ob KI-Crawler den Inhalt ohne JavaScript lesen können?

Am Text im ausgelieferten HTML. Stehen dort weniger als etwa 150 Wörter, obwohl die Seite im Browser voller Text ist, lädt sie ihren Inhalt per JavaScript nach. Googlebot rendert JavaScript, die Crawler von OpenAI, Anthropic und Perplexity nach einer Auswertung von Vercel dagegen nicht.

Die Schwellen von 150 und 300 Wörtern sind Faustwerte von SaracAI und keine offiziellen Grenzen. Sie trennen zuverlässig zwischen Seiten, deren Text im HTML steht, und reinen Skript-Hüllen. Betroffen sind oft Websites aus Baukästen oder Single-Page-Apps ohne serverseitiges Rendern.

Was kann der Check nicht prüfen?

Er sieht nicht, ob ein KI-Assistent Ihre Website tatsächlich nennt, und er kann ohne Server nicht abfragen, welchen HTTP-Status Ihr Server einem Crawler liefert. Für den zweiten Punkt erzeugt das Werkzeug fertige curl-Befehle, die Sie selbst ausführen.

• Serverseitige Sperren: Cloudflare, Firewalls und Sicherheits-Plugins können Crawler unabhängig von der robots.txt abweisen. Die curl-Befehle zeigen Sperren nach User-Agent. Sperren, die zusätzlich die IP-Adresse des echten Crawlers prüfen, sehen Sie nur in den Einstellungen oder Protokollen Ihres Anbieters.
• Nennungen in KI-Antworten: Ob ChatGPT, Perplexity oder Copilot Sie zitieren, misst man mit einem festen Satz von Fragen, die man regelmäßig stellt, und mit der Herkunft der Besucher in der Webanalyse.
• Einhaltung: Die robots.txt ist eine Bitte. Seriöse Anbieter halten sich daran, eine technische Sperre ist sie nicht.

Weitere technische SEO-Punkte zum selben Quelltext, etwa Canonical, Description und Bilder ohne Alternativtext, prüft der SEO-Schnellcheck. Eine passende robots.txt erzeugt der robots.txt-Generator für KI-Crawler.

### Quellen Die Angaben zu den Crawlern stammen aus der Dokumentation der Anbieter, die Auswertung folgt dem Standard der IETF.

• RFC 9309, Robots Exclusion Protocol: rfc-editor.org/rfc/rfc9309
• Google, robots.txt-Regeln: developers.google.com/search/docs/crawling-indexing/robots/robots_txt
• Google, Crawler und Steuerzeichen (Google-Extended): developers.google.com/search/docs/crawling-indexing/google-common-crawlers
• OpenAI, Crawler: platform.openai.com/docs/bots
• Anthropic, Crawler: support.anthropic.com
• Perplexity, Crawler: docs.perplexity.ai/guides/bots
• Microsoft Bing, Crawler: bing.com/webmasters/help
• Apple, Applebot: support.apple.com/en-us/119829
• Common Crawl, CCBot: commoncrawl.org/ccbot
• Vercel, Auswertung zu KI-Crawlern und JavaScript: vercel.com/blog/the-rise-of-the-ai-crawler