Glossar
Was ist GPTBot / OAI-SearchBot?
Kurz erklärt
GPTBot und OAI-SearchBot sind Webcrawler von OpenAI. Nach der Dokumentation des Anbieters dient der eine dem Sammeln von Inhalten für das Training von Modellen, der andere dem Auffinden von Seiten für die Suche in ChatGPT.
Wer eine Website betreibt, begegnet in den Server-Protokollen zunehmend Crawlern von KI-Anbietern. Dieser Eintrag erklärt zwei davon und wie sich ihr Zugriff regeln lässt.
Was sind GPTBot und OAI-SearchBot?
Beides sind Crawler von OpenAI, die sich mit einer eigenen Kennung melden. OpenAI führt sie in der Dokumentation zu seinen Bots auf und nennt dort Zweck und Kennung. Maßgeblich ist stets der aktuelle Stand dieser Dokumentation, weil Anbieter Crawler ändern oder ergänzen können.
Worin unterscheiden sich die beiden Crawler?
Sie haben nach Angabe von OpenAI getrennte Aufgaben. GPTBot steht im Zusammenhang mit dem Training von Modellen, OAI-SearchBot mit der Suchfunktion von ChatGPT. Weil sie getrennt angesprochen werden, lassen sich beide Zwecke unabhängig voneinander erlauben oder sperren.
Wie steuert man sie mit der robots.txt?
Beide Crawler werden über die robots.txt adressiert. Für jede Kennung kann eine eigene Gruppe mit Allow oder Disallow stehen. So lässt sich zum Beispiel die Suche zulassen und das Training ausschließen. Änderungen an der Datei wirken erst, wenn der Betreiber sie neu abruft.
Was ist bei der Sperrung zu bedenken?
Wer OAI-SearchBot sperrt, schließt die eigene Website von dieser Suche aus und wird dort voraussichtlich nicht mehr genannt. Das ist eine geschäftliche Abwägung, die zur eigenen Sichtbarkeitsstrategie (GEO) passen muss. Die robots.txt bleibt eine Bitte, die der Anbieter freiwillig befolgt. Dieser Eintrag ist keine Rechtsberatung, etwa zu Urheberrecht oder Text und Data Mining.
Praktisch hilft ein Blick in die Server-Protokolle. Dort zeigt sich, welche Kennungen die Website tatsächlich abrufen und welche Bereiche sie ansteuern. Auf dieser Basis lässt sich entscheiden, ob die Regeln in der robots.txt angepasst werden sollen. Andere KI-Anbieter betreiben eigene Crawler mit eigenen Kennungen, die jeweils in deren Dokumentation beschrieben sind. Eine Regel für OpenAI gilt für sie nicht.