Inferencja
Aktualizacja: · zob. też: inference, wnioskowanie
Cykl życia modelu ma dwa główne etapy: trening (jednorazowe, kosztowne uczenie z danych) i inferencja (codzienne używanie modelu do generowania odpowiedzi).
Dlaczego to ważne: koszty i szybkość, które odczuwasz jako użytkownik, dotyczą inferencji. Liczba przetwarzanych tokenów wpływa na cenę i czas odpowiedzi.