Glossar
Was ist Crawler / Bot?
Kurz erklärt
Ein Crawler, auch Bot oder Spider genannt, ist ein Programm, das Webseiten automatisch abruft, Links folgt und Inhalte erfasst. Suchmaschinen und KI-Anbieter nutzen Crawler, um Seiten für ihre Dienste zu finden.
Bevor eine Seite in einer Suchmaschine erscheint, muss sie gefunden und gelesen werden. Diese Arbeit übernehmen Crawler. Der Eintrag erklärt, wie sie vorgehen und wie sich ihr Zugriff steuern lässt.
Was ist ein Crawler?
Ein Crawler ist eine Software, die Webseiten abruft, den Inhalt auswertet und den darin enthaltenen Links zu weiteren Seiten folgt. Google nennt seinen Crawler Googlebot und beschreibt in der Dokumentation Search Central, welche Crawler es gibt und wie sie sich ausweisen. Jeder Crawler meldet sich mit einer Kennung, dem User-Agent.
Wie arbeitet ein Crawler?
Ein Crawler startet mit bekannten Adressen, ruft sie ab und sammelt die gefundenen Links. Hilfreich ist dabei eine XML-Sitemap, die Adressen gebündelt nennt.
- Adresse aus einer Liste oder Sitemap wählen
- Zuerst die robots.txt der Domain abrufen
- Seite abrufen und Inhalte auswerten
- Neue Links in die Liste aufnehmen
Ob eine abgerufene Seite danach im Index erscheint, ist eine eigene Entscheidung des Betreibers.
Wie lässt sich ein Crawler steuern?
Der übliche Weg ist die robots.txt. Das Robots Exclusion Protocol ist in RFC 9309 beschrieben. Regeln gelten je Crawler, der sich über seine Kennung ansprechen lässt. Die Datei ist eine Bitte, keine Sperre: Seriöse Crawler halten sich daran, andere nicht.
Welche Crawler sind für KI relevant?
Neben Suchmaschinen betreiben auch KI-Anbieter Crawler, etwa für Trainingsdaten oder für Suchantworten. Der Eintrag zu GPTBot und OAI-SearchBot zeigt am Beispiel von OpenAI, dass sich Zwecke getrennt steuern lassen. Wer Inhalte in KI-Antworten sehen will, sollte prüfen, ob die passenden Crawler nicht versehentlich ausgesperrt sind.
Nicht jeder Bot ist erwünscht. Neben Suchmaschinen gibt es Programme, die Preise sammeln, Inhalte kopieren oder Schwachstellen suchen. Die Server-Protokolle einer Website zeigen, welche Kennungen zugreifen. Weil sich eine Kennung fälschen lässt, ist sie allein kein Beweis für die Herkunft. Google beschreibt deshalb in seiner Dokumentation, wie sich der echte Googlebot überprüfen lässt.