Das in Word Embeddings gezeigte Beispiel "the dog barks" ist sehr einfach. Genauer gesagt, der Kontext, also der umgebende Text einer sprachlichen Einheit ist sehr klein: Das Wort oder Token "barks" ist in nur 3 Token eingebetted. Die Kontextfenstergröße oder Kontextlänge ist 3. Gleiches gilt natürlich entsprechend für "the cat meows".

Alles was außerhalb dieses Fensters liegt, wird nicht berücksichtigt. Die Kontextfenstergröße ist also wichtig, um längere Texte verstehen und zusammenhängende Antworten geben zu können.

Im folgenden vereinfachten Beispiel beträgt die Kontextfenstergröße 10 Token. Da das Trainingsmaterial noch größer ist, muss das Fenster hierfür durch das gesamte Material schrittweise verschoben werden:

Wandern des Kontextfensters

Wenn ein sehr langer Text analysiert werden soll, aber das Modell aufgrund der kleineren Kontextfenstergröße nur einen Teil davon berücksichtigen kann, dann werden Informationen aus vorhergehenden Abschnitten ignoriert.

Um dies zu umgehen, bzw. damit das LLM den Fokus nicht verliert, muss man gegebenenfalls den Text in in kleineren ausgewählten Abschnitten verarbeiten lassen.1

GPT-4o hat z.B. eine Kontextfenstergröße von 128 000 Token.2


Quellen:

1 LLMs für Fortgeschrittene | Micromata GmbH   (abgerufen am 01.10.2025)

2 Compare models - OpenAI API   (abgerufen am 01.10.2025)

Last modified: Wednesday, 1 October 2025, 10:40 AM