Reranking: Wie ein Reranker Suchtreffer für KI sortiert

Beispiel aus der Praxis

Das folgende Szenario zeigt, wofür ein Reranker gebraucht wird. Ein Unternehmen betreibt eine interne Wissensbasis mit Richtlinien. Ein Mitarbeiter fragt: „Welche Reisekosten werden nicht erstattet?“

Die Vektorsuche liefert zehn Abschnitte, die alle von Reisekosten handeln. Ganz oben steht der Abschnitt „Erstattet werden Bahnfahrten in der zweiten Klasse und Hotelkosten bis zur festgelegten Grenze“. Er passt thematisch, beantwortet aber die Frage nicht. Der Abschnitt, der die ausgeschlossenen Kosten aufzählt, steht erst auf Platz sieben.

Ein Reranker liest die Frage zusammen mit jedem der zehn Abschnitte und bewertet, wie gut der Abschnitt die Frage beantwortet. Der Abschnitt mit den Ausschlüssen rückt nach oben, und das Sprachmodell bekommt die passende Textstelle an erster Stelle.

Wo der Reranker sitzt, hängt von der Architektur ab. In der Wissensbasis mit RAG und MCP-Server liegt die gesamte Suchlogik zentral hinter einem MCP-Werkzeug. An so einer Stelle ließe sich ein Reranking-Schritt ergänzen, ohne die angebundenen Agenten zu ändern.

Wie funktioniert Reranking in einer RAG-Pipeline?

Reranking ist der zweite Schritt einer zweistufigen Suche. Die erste Stufe, etwa eine Vektorsuche oder eine hybride Suche, holt schnell eine größere Menge an Kandidaten. Die zweite Stufe bewertet nur diese Kandidaten mit einem genaueren, aber langsameren Modell.

Anthropic holte in seinem Contextual-Retrieval-Benchmark zunächst die besten 150 Abschnitte und ließ den Reranker daraus die besten 20 für das Sprachmodell auswählen (Anthropic, 2024). Für die Tests nutzte Anthropic den Reranker von Cohere (Anthropic, 2024).

Ein Reranker bekommt die Frage und eine Liste von Dokumenten und gibt für jedes Dokument einen Relevanzwert zurück. Cohere beschreibt seinen Dienst so, dass er die Dokumente von am meisten bis am wenigsten relevant zur Anfrage ordnet (Cohere, Stand Oktober 2026). Danach werden nur die obersten Treffer in den Prompt übernommen.

Auch das Format der Dokumente spielt eine Rolle. Für strukturierte Daten wie Tabellenzeilen oder Datensätze empfiehlt Cohere, jeden Eintrag als YAML-Text zu übergeben (Cohere, Stand Oktober 2026). So sieht der Reranker Feldnamen und Werte zusammen und kann sie der Frage besser zuordnen.

Bi-Encoder vs. Cross-Encoder: Was ist der Unterschied?

Embedding-Modelle für die Vektorsuche sind Bi-Encoder. Sie wandeln Frage und Dokument getrennt in Vektoren um, die dann verglichen werden. Viele Reranker sind Cross-Encoder. Sie geben Frage und Dokument gemeinsam in ein Transformer-Modell und berechnen direkt einen Relevanzwert.

Kriterium	Bi-Encoder (Embedding-Modell)	Cross-Encoder (Reranker)
Eingabe	Frage und Dokument getrennt	Frage und Dokument gemeinsam
Ergebnis	Vektor pro Text	Relevanzwert pro Paar
Vorberechnung	Dokumentvektoren lassen sich vorab speichern	jedes Paar muss bei der Frage neu berechnet werden
Genauigkeit	gut	höher
Geschwindigkeit bei großen Mengen	schnell	langsam
Typische Rolle	erste Suchstufe	zweite Suchstufe

Die Dokumentation der Bibliothek Sentence Transformers nennt ein Beispiel für den Geschwindigkeitsunterschied: 10.000 Sätze mit einem Cross-Encoder zu clustern würde rund 50 Millionen Paarvergleiche und etwa 65 Stunden erfordern, mit einem Bi-Encoder etwa 5 Sekunden (Sentence Transformers, Stand Oktober 2026). Deshalb empfiehlt sie, mit einem Bi-Encoder zum Beispiel die besten 100 Treffer zu holen und nur diese mit einem Cross-Encoder neu zu sortieren.

Seit wann gibt es Reranking mit Sprachmodellen?

Eine grundlegende Arbeit zum Reranking mit Transformer-Modellen ist das Paper „Passage Re-ranking with BERT“ von Rodrigo Nogueira und Kyunghyun Cho aus dem Jahr 2019 (Nogueira und Cho, 2019).

Die Autoren nutzten BERT, um Textpassagen zu einer Suchanfrage neu zu bewerten. Auf dem Datensatz MS MARCO übertrafen sie den bisherigen Bestwert relativ um 27 Prozent in der Kennzahl MRR@10 (Nogueira und Cho, 2019). Heutige Reranker bauen auf diesem Prinzip auf.

Wie viel bringt Reranking zusätzlich?

Im Benchmark von Anthropic lag der Anteil relevanter Abschnitte, die nicht unter den ersten 20 Treffern landeten, ohne Verbesserungen bei 5,7 Prozent (Anthropic, 2024). Kontextualisierte Embeddings und kontextualisiertes BM25 senkten ihn auf 2,9 Prozent, mit zusätzlichem Reranking sank er auf 1,9 Prozent (Anthropic, 2024).

Diese Werte stammen aus Anthropics Testdaten und eigenen Einstellungen. Wie viel ein Reranker in einer anderen Wissensbasis bringt, zeigt nur ein Test mit eigenen Fragen.

Welche Fehler gibt es beim Reranking?

Ein häufiger Fehler ist eine zu kleine Kandidatenmenge. Der Reranker kann nur sortieren, was die erste Stufe liefert. Fehlt der richtige Abschnitt unter den Kandidaten, hilft auch das beste Modell nicht.

Ein zweiter Fehler ist eine zu große Kandidatenmenge. Jeder Kandidat ist ein eigener Modellaufruf oder ein Teil davon, also steigen Antwortzeit und Kosten mit der Menge. Die richtige Größe hängt vom Zeitbudget ab und sollte gemessen werden.

Ein dritter Fehler betrifft die Sprache. Cohere gibt an, dass seine Rerank-Modelle für mehr als 100 Sprachen trainiert wurden, die Leistung je nach Sprache aber unterschiedlich sein kann (Cohere, Stand Oktober 2026). Für deutsche Dokumente sollte ein Reranker deshalb mit deutschen Testfragen geprüft werden.

Ein vierter Fehler betrifft den Datenschutz. Ein Reranker als Cloud-Dienst bekommt Frage und Textstellen im Klartext. Für vertrauliche Daten kommen selbst betriebene Modelle oder ein lokales LLM in Frage.

Reranking ergänzt die anderen Bausteine eines RAG-Systems, ersetzt sie aber nicht. Wie Reranking mit Contextual Retrieval und hybrider Suche zusammenspielt, beschreibt der Artikel Company Brain aufbauen.