Transformer
Aktualizacja: · zob. też: architektura transformer, attention
Transformer zrewolucjonizował przetwarzanie języka dzięki mechanizmowi uwagi (attention): model dla każdego słowa decyduje, na które inne słowa „zwrócić uwagę”.
Dlaczego ważny: to fundament modeli językowych (litera „T” w nazwach typu GPT oznacza właśnie Transformer) oraz wielu modeli multimodalnych. Bazuje na sieciach neuronowych i głębokim uczeniu.