Definition
Das Kontextfenster ist die Menge an Text, die ein Sprachmodell gleichzeitig im Blick hat, gemessen in Tokens. Alles darin kann die Antwort beeinflussen, alles darüber hinaus fällt aus dem Blick. Für einen KI-Telefonassistenten ist es das Kurzzeitgedächtnis für ein Gespräch: Anweisung, geladenes Wissen und der bisherige Dialog müssen zusammen hineinpassen.
Warum der Begriff zählt
In einem längeren Anruf sammelt sich viel: Regeln, Wissensstücke, Fragen und Antworten. Passt das nicht mehr ins Fenster, verliert der Assistent frühere Details und wirkt vergesslich. Wer den Begriff versteht, sieht, warum es klug ist, nur Relevantes zu laden und das Gespräch zu strukturieren, statt das Fenster mit Ballast zu füllen.
Wann es relevant ist
- Gespräche werden lang und tragen viele Details mit.
- Viel Wissen soll gleichzeitig verfügbar sein.
- Der Prompt ist umfangreich und detailliert.
- Frühere Aussagen im Anruf müssen präsent bleiben.
Wann nicht
Bei kurzen, klaren Anrufen ist das Fenster selten die Grenze, dann muss man es nicht optimieren. Und wer alles hineinlädt, nur weil das Fenster groß ist, macht Antworten langsamer und teurer, ohne dass die Qualität steigt.
Branchen, die das nutzen
- Kundenservice: lange Klärungsgespräche führen, in denen frühere Angaben präsent bleiben müssen.
- B2B-Vertrieb: komplexe Qualifizierungen mit vielen Rückfragen sauber im Blick behalten.
- Recht: vielschichtige Anliegen erfassen, ohne frühere Details zu verlieren.
- Gesundheit: mehrstufige Auskünfte geben, bei denen der Gesprächsverlauf zählt.
Typische Anwendungsfälle
- Nur relevante Wissensstücke pro Anruf laden statt ganzer Dokumente.
- Zusammenfassen früherer Gesprächsteile, damit das Fenster reicht.
- Trennen von festem Prompt und wechselndem Anrufkontext.
- Übergabe an einen Menschen mit einer kompakten Zusammenfassung.
- Strukturieren langer Gespräche in klare Abschnitte.
Entscheidungshilfe
| Signal | Kontextfenster ist der Hebel | Alternative |
|---|---|---|
| Gespräche sind lang und detailreich | Fenster gezielt füllen | kurze Anrufe brauchen das nicht |
| Assistent vergisst frühere Angaben | relevanten Kontext behalten | Zusammenfassung statt Rohtext |
| Alles wird hineingeladen | nur Relevantes laden | volles Fenster bremst und kostet |
| Wissen ist sehr groß | über RAG gezielt nachladen | nicht alles auf einmal ins Fenster |
Beispiel
Ein Serviceteam bemerkt, dass der Assistent in langen Anrufen frühere Angaben verliert. Statt das ganze Gespräch mitzuschleppen, lässt es Zwischenstände kurz zusammenfassen und lädt pro Frage nur die passende Wissensstelle nach. So bleibt das Wichtige im Fenster, das Gespräch bleibt flüssig. Das Beispiel beschreibt die Methode, keine behauptete Kundenkennzahl.
Verbindung zu Services
Das Kontextfenster begrenzt, was der KI-Telefonassistent und der Voice Agent im Anruf zugleich behalten, deshalb zählt beim KI-Vertrieb am Telefon eine kluge Auswahl statt Masse.
Verwandte Begriffe
Quellen
Diese Einordnung beschreibt gängige Praxis rund um das Kontextfenster. Konkrete Größen, Modelle und Grenzen hängen vom Fall und den Systemen ab und müssen im Einzelfall geprüft werden.
Mit AI zusammenfassen