Glossar
Was ist Token?
Kurz erklärt
Ein Token ist ein Textbaustein, in den ein Sprachmodell Eingaben zerlegt, bevor es sie verarbeitet. Das kann ein ganzes Wort, ein Wortteil oder ein Satzzeichen sein. Tokens bestimmen, wie viel Text ein Modell auf einmal verarbeiten kann.
Sprachmodelle lesen keinen Fließtext wie Menschen, sondern Folgen von Bausteinen. Wer KI-Dienste nutzt, begegnet dem Begriff Token deshalb in der Dokumentation, bei Begrenzungen und in der Abrechnung.
Was ist ein Token?
Ein Token ist eine Einheit aus Zeichen, in die ein Text vor der Verarbeitung zerlegt wird. Häufige Wörter bilden oft ein einzelnes Token, seltene oder lange Wörter werden in mehrere Teile gespalten. Auch Leerzeichen, Zahlen und Satzzeichen können eigene Tokens sein.
Das ist eine technische Zerlegung und deckt sich nicht mit der Wortzahl. Wie fein zerlegt wird, hängt vom jeweiligen Modell und seinem Tokenizer ab.
Warum sind Tokens wichtig?
Ein Large Language Model kann pro Anfrage nur eine begrenzte Menge an Tokens berücksichtigen. Dieses Kontextfenster umfasst Anweisung, Dokumente, bisherigen Gesprächsverlauf und die Antwort zusammen. Ist der Platz erschöpft, muss Text gekürzt werden.
Außerdem rechnen viele Anbieter nach verarbeiteten Tokens ab, getrennt nach Eingabe und Ausgabe. Aktuelle Konditionen stehen in der jeweiligen Anbieterdokumentation.
Wie lassen sich Tokens zählen?
Anbieter stellen dafür Werkzeuge bereit. OpenAI veröffentlicht die Bibliothek tiktoken, Anthropic bietet eine Schnittstelle zur Tokenzählung an. Mit ihnen lässt sich vorab prüfen, ob ein Prompt mit allen Anhängen in das Kontextfenster passt.
- Text an das Zählwerkzeug des Anbieters übergeben
- Anzahl der Tokens ablesen
- Eingabe bei Bedarf kürzen oder in Abschnitte teilen
Was bedeutet das bei der Verarbeitung von Belegen und Dokumenten?
Lange Dokumente, mehrseitige Scans und umfangreiche Mailverläufe belegen viel Platz im Kontextfenster. Bei der Belegverarbeitung, bei der Scans gelesen werden, ist es daher sinnvoll, Unterlagen portionsweise zu übergeben. So arbeitet auch der SaracAI-Connector, ein MCP-Server für DATEV, E-Mail und OneDrive, der bei einer Steuerkanzlei im Einsatz ist: Mehrseitige Scans werden in Abschnitten gelesen.