Glossar
Was ist robots.txt?
Kurz erklärt
Die robots.txt ist eine Textdatei im Hauptverzeichnis einer Website, die Crawlern mitteilt, welche Bereiche sie abrufen sollen und welche nicht. Sie ist eine Bitte an Programme, kein technischer Zugriffsschutz.
Jede Website wird von automatischen Programmen besucht, den Crawlern. Die robots.txt ist der etablierte Weg, diesen Programmen Hinweise zum Abruf zu geben.
Was ist die robots.txt?
Die robots.txt liegt immer unter dem Pfad /robots.txt einer Domain. Sie enthält Regeln, die für einen bestimmten Crawler oder für alle gelten. Das Verfahren ist im Standard RFC 9309 beschrieben, und Google erläutert in der Search Central Dokumentation, wie die Datei bei der Suche behandelt wird.
Wie ist die robots.txt aufgebaut?
Die Datei besteht aus Gruppen. Jede beginnt mit einer Zeile User-agent, danach folgen Anweisungen wie Disallow oder Allow mit Pfaden.
- User-agent nennt den Crawler, für den die Gruppe gilt
- Disallow sperrt einen Pfad für den Abruf
- Allow erlaubt einen Pfad innerhalb eines gesperrten Bereichs
- Sitemap verweist auf die XML-Sitemap
Wichtig ist die genaue Schreibweise, denn ein falsch gesetzter Pfad kann ungewollt ganze Bereiche sperren.
Gilt die robots.txt auch für KI-Crawler?
Ja, sofern der jeweilige Anbieter sie beachtet. OpenAI beschreibt in seiner Dokumentation die Crawler GPTBot und OAI-SearchBot, die sich über die robots.txt steuern lassen. Anthropic erklärt in seinem Hilfecenter, dass ClaudeBot die Vorgaben der robots.txt befolgt. Mehr dazu steht unter GPTBot und OAI-SearchBot. Ob und wie ein Crawler wirklich arbeitet, bestimmt allein sein Betreiber.
Ist die robots.txt ein Zugriffsschutz?
Nein. Die Datei ist öffentlich lesbar, und sie hält niemanden technisch vom Abruf ab. Ein regelkonformer Crawler hält sich daran, andere ignorieren sie. Vertrauliche Inhalte gehören deshalb hinter einen Login oder in eine Serverkonfiguration. Auch das Fernhalten aus dem Suchindex gelingt nicht zuverlässig über die robots.txt, dafür gibt es Angaben wie noindex. Dieser Eintrag ist keine Rechtsberatung.