Okno kontekstowe

Kontekst to wszystko, co model „widzi” w danym momencie: Twoje polecenie, wcześniejsze wiadomości i dołączone dokumenty — wszystko liczone w tokenach.

Konsekwencje praktyczne:

• Bardzo długa rozmowa może spowodować, że model pominie wcześniejsze ustalenia.
• Więcej nie zawsze znaczy lepiej: Anthropic opisuje zjawisko context rot — wraz ze wzrostem liczby tokenów spada dokładność, a badanie „Lost in the Middle” (2023) pokazało, że modele gorzej korzystają z informacji ze środka długiego kontekstu.
• Do pracy z dużymi dokumentami przydaje się model z większym oknem kontekstowym lub technika RAG, która podaje modelowi tylko potrzebne fragmenty.

Rozmiary okien rosną z każdą generacją modeli — konkretne wartości sprawdzaj w dokumentacji dostawcy.