Kontextfenster (Context Window): Wie viel ein Sprachmodell auf einmal verarbeitet

Beispiel aus der Praxis

Ein typisches Szenario: Ein KI-Agent bearbeitet eine längere Aufgabe und ruft dafür mehrere Werkzeuge auf, etwa eine Suche, eine Datenbank und eine API. Jeder Aufruf liefert Ergebnisse zurück, die im Verlauf stehen bleiben. Nach einigen Schritten besteht der größte Teil des Kontexts nicht mehr aus der eigentlichen Aufgabe, sondern aus alten Tool-Ergebnissen.

Das Kontextfenster ist noch nicht voll, trotzdem werden die Antworten unpräziser. Eine Vorgabe aus dem Anfang des Gesprächs wird übersehen, eine Zahl aus einem frühen Suchergebnis falsch übernommen. Gleichzeitig steigen die Kosten, weil bei jedem neuen Schritt der gesamte Verlauf erneut als Eingabe abgerechnet wird.

Die Gegenmaßnahmen setzen beim Inhalt an, nicht bei der Größe: Tool-Ergebnisse auf die relevanten Felder kürzen, erledigte Zwischenschritte zusammenfassen und Dokumente per RAG abschnittsweise holen statt komplett einzufügen. Die Werkzeuge selbst lassen sich über das Model Context Protocol so beschreiben, dass sie nur das Nötige zurückgeben.

Was zählt alles zum Kontextfenster?

Anthropic beschreibt es eindeutig: Alles in einer Anfrage zählt zum Kontextfenster, also Systemprompt, alle Nachrichten einschließlich Tool-Ergebnissen, Bildern und Dokumenten sowie die Tool-Definitionen. Auch die Ausgabe des Modells zählt mit, einschließlich der Denkschritte (Anthropic, Context windows).

Bei Gesprächen wächst der Inhalt mit jeder Runde. Jede Nachricht und jede Antwort bleibt im Verlauf und wird bei der nächsten Anfrage erneut mitgeschickt (Anthropic, Context windows). Ein Chat, der sich über viele Runden zieht, verbraucht deshalb mit jeder Runde mehr Tokens.

Prompt Caching ändert daran nichts Grundsätzliches. Laut Anthropic verändert Caching nur, was man für wiederverwendete Tokens bezahlt, nicht ob sie zum Kontextfenster zählen (Anthropic, Context windows).

Wie groß sind Kontextfenster aktueller Modelle?

Die Größen ändern sich mit jeder Modellgeneration. Die folgende Übersicht gibt die Angaben der Anbieter wieder, Stand: Oktober 2026.

Neben dem Kontextfenster gibt es ein eigenes Ausgabelimit. Anthropic nennt für die Modelle mit 1 Million Tokens bis zu 128.000 Ausgabe-Tokens pro Anfrage, OpenAI für die genannten Modelle ebenfalls 128.000 (Anthropic, Context windows; OpenAI, Models, Stand: Oktober 2026). Bei Gemini 4 teilen sich Eingabe, Denkschritte und Ausgabe ein gemeinsames Fenster, bei Gemini 3 und 2.5 gibt es getrennte Budgets für Eingabe und Ausgabe (Google AI for Developers, Stand: Oktober 2026).

Warum nutzen Modelle lange Kontexte nicht vollständig?

Ein großes Kontextfenster heißt nur, dass ein Modell viel Text annimmt. Wie gut es diesen Text nutzt, ist eine andere Frage.

Liu et al. haben das an zwei Aufgaben untersucht: Fragen über mehrere Dokumente und das Wiederfinden eines Werts in einer langen Liste von Schlüssel-Wert-Paaren. Die Leistung war oft am höchsten, wenn die relevante Information am Anfang oder am Ende des Kontexts stand, und sank deutlich, wenn sie in der Mitte lag, auch bei Modellen, die ausdrücklich für lange Kontexte gebaut waren (Liu et al., 2024). Der Effekt ist unter dem Namen „Lost in the Middle“ bekannt.

Anthropic beschreibt ein verwandtes Phänomen als „Context Rot“: Mit wachsender Tokenzahl nehmen Genauigkeit und Erinnerungsleistung ab. Deshalb sei die Auswahl dessen, was im Kontext steht, ebenso wichtig wie der verfügbare Platz (Anthropic, Context windows).

Die Anordnung im Prompt hilft. Anthropic empfiehlt, lange Dokumente oben im Prompt zu platzieren und die Frage ans Ende zu stellen; in Tests habe das die Antwortqualität um bis zu 30 Prozent verbessert, besonders bei komplexen Eingaben aus mehreren Dokumenten (Anthropic, Prompting best practices).

Was kostet ein großes Kontextfenster?

Bei API-Modellen werden Eingabe-Tokens bei jeder Anfrage abgerechnet. Wer ein umfangreiches Handbuch mitschickt, bezahlt es bei jeder Frage erneut. Je voller das Kontextfenster, desto teurer die Anfrage und meist auch desto länger die Antwortzeit.

Zusätzlich gibt es teils Preisstufen für lange Kontexte. Anthropic rechnet lange Kontexte bei den meisten aktuellen Modellen zum Standardpreis ab, bei Claude Haiku 5.5 kosten Prompts über 100.000 Tokens dagegen mehr (Anthropic, Context windows, Stand: Oktober 2026). Die Preisseite des jeweiligen Anbieters ist hier die einzige verlässliche Quelle.

Kontextfenster oder RAG: Was ist besser?

Beides schließt sich nicht aus. RAG entscheidet, was ins Kontextfenster kommt; das Kontextfenster bestimmt, wie viel davon hineinpasst. Für kleine, stabile Wissensbestände kann es einfacher sein, alles mitzuschicken. Für große oder sich ändernde Bestände ist eine gezielte Auswahl per semantischer Suche meist günstiger und wegen „Lost in the Middle“ oft auch genauer.

Eine ausführliche Gegenüberstellung von RAG und langem Kontext steht im Eintrag zu RAG. Wie groß die einzelnen Abschnitte sein sollten, die per RAG ins Fenster gelangen, beschreibt der Eintrag zu Chunking. Wie ein Unternehmen Wissen insgesamt für Modelle aufbereitet, zeigt der Artikel Company Brain aufbauen.

Wie hängen Kontextfenster und Halluzinationen zusammen?

Ein Modell kann nur Informationen verwenden, die im Kontextfenster stehen oder in seinen Trainingsdaten stecken. Fehlt die relevante Stelle im Kontext oder geht sie in einem überlangen Prompt unter, steigt das Risiko, dass das Modell eine plausible, aber falsche Antwort erzeugt. Mehr dazu steht im Eintrag KI-Halluzination.