agentarium.pl

Okno kontekstowe

Aktualizacja: · zob. też: kontekst, context window, długość kontekstu

Kontekst to wszystko, co model „widzi” w danym momencie: Twoje polecenie, wcześniejsze wiadomości i dołączone dokumenty — wszystko liczone w tokenach.

Konsekwencje praktyczne:

  • Bardzo długa rozmowa może spowodować, że model pominie wcześniejsze ustalenia.
  • Do pracy z dużymi dokumentami przydaje się model z większym oknem kontekstowym lub technika RAG, która podaje modelowi tylko potrzebne fragmenty.

Rozmiary okien rosną z każdą generacją modeli — konkretne wartości sprawdzaj w dokumentacji dostawcy.