Token

Zanim LLM przetworzy tekst, dzieli go na tokeny (tokenizacja). Token bywa całym słowem („kot”), jego fragmentem („nie-praw-do-po-dob-ny”) albo znakiem.

Dlaczego to ważne:

• Koszt — dostawcy zwykle naliczają opłaty za tokeny wejścia i wyjścia.
• Limity — ile tekstu model „pomieści” naraz, określa okno kontekstowe.

Z grubsza dla polskiego: kilka znaków to ok. jeden token, a jedno słowo to często 2–4 tokeny.