Wprowadzenie
<strong>Context Window</strong> (okno kontekstu) to maksymalna liczba tokenów, jaką model językowy może przetwarzać jednocześnie podczas jednej operacji (zarówno podczas treningu, jak i inferencji). Określa, jak dużo informacji model „widzi” naraz i ma bezpośredni wpływ na jego możliwości rozumowania, zapamiętywania i wykonywania złożonych zadań.
Znaczenie Context Window
Im dłuższe okno kontekstu, tym model może:
- Analizować dłuższe dokumenty, książki lub całe codebase’y
- Prowadzić bardziej spójne, długie rozmowy
- Wykonywać zadania wymagające pamięci długoterminowej (np. wieloetapowe rozumowanie)
- Lepiej radzić sobie z zadaniami RAG i agentycznymi
Ewolucja długości kontekstu
- <strong>GPT-2 (2019)</strong> – 1024 tokeny
- <strong>GPT-3 (2020)</strong> – 2048 tokenów
- <strong>GPT-4 (2023)</strong> – 32k (wersja 128k w niektórych wariantach)
- <strong>Gemini 1.5 / Claude 3 (2024)</strong> – 200k–1M tokenów
- <strong>2025–2026</strong> – modele z kontekstem 1M–10M+ tokenów (Llama 4 Scout, Gemini 2.5, Grok 3)
Techniki rozszerzania kontekstu
- <strong>RoPE (Rotary Positional Embeddings)</strong> + YaRN / NTK-aware scaling
- <strong>ALiBi</strong> – Attention with Linear Biases
- <strong>Sliding Window Attention</strong>
- <strong>State Space Models</strong> (Mamba) i hybrydy
- <strong>Context Compression</strong> i Memory Mechanisms
Zalety długiego Context Window
- Lepsza spójność w długich rozmowach
- Możliwość analizy całych dokumentów, repozytoriów kodu, książek
- Zaawansowane zadania agentyczne i wieloetapowe
- Lepsze wyniki w RAG przy dużych bazach wiedzy
Ograniczenia
- Wzrost kosztu obliczeniowego (kwadratowo z długością kontekstu)
- Zjawisko „lost in the middle” – model gorzej wykorzystuje informacje ze środka kontekstu
- Trudności z treningiem i inferencją na bardzo długich sekwencjach
Aktualny status (2026)
Context Window stał się jednym z najważniejszych parametrów konkurencji między modelami. Najnowsze modele oferują kontekst rzędu milionów tokenów, co umożliwia całkowicie nowe zastosowania – od analizy całych codebase’ów po przetwarzanie wielogodzinnych nagrań wideo czy długich książek. Techniki takie jak RoPE + YaRN oraz architektury hybrydowe (Transformer + Mamba) pozwalają skutecznie skalować kontekst przy zachowaniu rozsądnych kosztów.
Długi kontekst to jeden z kluczowych kierunków rozwoju LLM w kierunku prawdziwej inteligencji ogólnej.