Token bei KI: Was Tokens sind und warum sie Kosten und Limits bestimmen

Beispiel aus der Praxis

Ein typisches Szenario: Ein Workflow soll eingehende E-Mails mit einem LLM zusammenfassen und einer Kategorie zuordnen. In der Planung wird die Wortzahl einer durchschnittlichen Mail mit der englischen Faustregel in Tokens umgerechnet, daraus entstehen eine Kostenschätzung und eine Annahme, wie viele Mails in einen Aufruf passen.

Im Betrieb liegen die tatsächlichen Werte darüber. Die Mails sind deutsch, enthalten Signaturen, zitierte Vorgängernachrichten und Fachbegriffe, die in viele Teile zerfallen. Dazu kommen der Systemprompt, die Beschreibung der Kategorien und ein JSON-Schema für die Ausgabe, die bei jedem Aufruf mitgeschickt werden.

Die Lösung beginnt mit Messen statt Schätzen: Die Zählfunktion des Anbieters liefert die echte Tokenzahl für repräsentative Beispiel-Mails. Danach lässt sich gezielt kürzen, etwa zitierte Verläufe entfernen, bevor der Text an das Modell geht. Das senkt die Kosten und lässt mehr Platz im Kontextfenster.

Wie funktioniert Tokenisierung?

Tokenisierung ist der Schritt, der Text in Tokens zerlegt. Google beschreibt Tokens als Einheiten, die einzelne Zeichen wie „z“ oder ganze Wörter wie „cat“ sein können; lange Wörter werden in mehrere Tokens zerlegt (Google AI for Developers, Tokens). Die Menge aller Tokens, die ein Modell kennt, heißt Vokabular.

OpenAI ergänzt, dass ein Token auch ein Satzzeichen sein kann und dass Leerzeichen beeinflussen, wie Text aufgeteilt wird (OpenAI Help Center). Jedes Token wird intern durch eine Nummer dargestellt, mit der das Modell rechnet. Häufige Zeichenfolgen bekommen eigene Tokens, seltene werden aus kleineren Teilen zusammengesetzt.

Daraus folgt: Tokens sind keine Silben und keine Wörter im sprachlichen Sinn. Sie sind statistisch gewählte Bausteine, und jeder Anbieter verwendet seinen eigenen Tokenizer.

Wie viele Zeichen oder Wörter hat ein Token?

Die gängigen Faustregeln gelten für englischen Text:

OpenAI weist ausdrücklich darauf hin, dass es sich um Schätzungen handelt und andere Sprachen ein anderes Verhältnis von Zeichen, Wörtern und Tokens haben können (OpenAI Help Center). Für Kostenplanung und Limits sind deshalb nur gezählte Werte verlässlich. OpenAI, Anthropic und Google bieten dafür eigene Zählfunktionen in ihren APIs an.

Auch zwischen Modellen desselben Anbieters ändern sich die Werte. Anthropic gibt an, dass Claude Opus 4.7 und spätere Modelle einen neueren Tokenizer verwenden, der für denselben Text ungefähr 30 Prozent mehr Tokens ergibt als ältere Modelle, und empfiehlt, Prompts beim Modellwechsel neu zu zählen (Anthropic, Token counting, Stand: Oktober 2026).

Brauchen deutsche Texte mehr Tokens?

Für deutsche Texte nennen OpenAI und Google keine eigene Faustregel; OpenAI weist nur darauf hin, dass andere Sprachen ein anderes Verhältnis haben können (OpenAI Help Center). Ein Grund liegt im Aufbau der Tokenisierung: Lange Wörter werden in mehrere Tokens zerlegt (Google AI for Developers, Tokens), und das Deutsche bildet mit Komposita wie „Kündigungsfristberechnung“ besonders viele lange Wörter.

Wie stark der Effekt zwischen Sprachen sein kann, haben Petrov et al. untersucht. Derselbe Text, in verschiedene Sprachen übersetzt, ergab teils bis zu 15-mal so viele Tokens, und die Unterschiede blieben auch bei Tokenizern bestehen, die für mehrsprachige Nutzung trainiert wurden (Petrov et al., 2023). Die Autoren nennen drei Folgen: höhere Kosten, längere Verarbeitungszeit und weniger Inhalt, der ins Kontextfenster passt (Petrov et al., 2023).

Einen festen Aufschlag für Deutsch sollte man deshalb nicht pauschal annehmen. Verlässlich ist nur eine Messung mit eigenen Texten und dem eingesetzten Modell.

Warum bestimmen Tokens Kosten und Limits?

Fast alle API-Preise werden pro Million Tokens angegeben, getrennt nach Eingabe und Ausgabe. Ein Beispiel: OpenAI listet für GPT-6 Astra 10 US-Dollar pro Million Eingabe-Tokens und 50 US-Dollar pro Million Ausgabe-Tokens (OpenAI, Models, Stand: Oktober 2026). Ausgabe-Tokens sind also deutlich teurer, und eine lange Antwort kostet mehr als ein langer Prompt.

Auch die Grenzen eines Modells werden in Tokens gemessen:

Bei Modellen mit Denkschritten kommen unsichtbare Tokens hinzu. Anthropic rechnet Thinking-Tokens als Ausgabe-Tokens ab und zählt sie auf das Kontextfenster an (Anthropic, Context windows). OpenAI empfiehlt, für Denkschritte und Antwort ausreichend Platz einzuplanen (OpenAI Help Center).

Nicht nur Text wird in Tokens gemessen. Google gibt für Gemini zum Beispiel an, dass ein kleines Bild bis 384 Pixel Kantenlänge 258 Tokens zählt und Audio 32 Tokens pro Sekunde (Google AI for Developers, Tokens, Stand: Oktober 2026).

Was ist der Unterschied zwischen Tokens und Embeddings?

Tokens und Embeddings werden oft verwechselt. Ein Token ist ein Textbaustein mit einer Nummer im Vokabular. Ein Embedding ist ein Vektor aus vielen Zahlen, der die Bedeutung eines Textes abbildet. Embedding-Modelle verarbeiten ihre Eingabe ebenfalls als Tokens und haben deshalb eine Obergrenze, die beim Chunking von Dokumenten eine Rolle spielt.

Wie lassen sich Tokens sparen?

OpenAI nennt mehrere Wege, wenn eine Eingabe zu groß ist: den Prompt kürzen oder umformulieren, unnötigen oder wiederholten Kontext entfernen, große Eingaben aufteilen und Texte vorab zusammenfassen (OpenAI Help Center).

In Automatisierungen bringt die Vorverarbeitung meist am meisten: HTML in reinen Text umwandeln, zitierte E-Mail-Verläufe abschneiden, nur relevante Dokumentabschnitte per RAG übergeben statt ganzer Dateien. Bei einem lokalen LLM fallen keine Gebühren pro Token an, die Grenzen des Kontextfensters und die Rechenzeit gelten aber genauso.