GPT (Generative Pre-trained Transformer)

GPT ist die Modellfamilie von OpenAI, die die KI-Welt veränderte. Es handelt sich um Decoder-only Transformer, die darauf trainiert sind, das nächste Wort vorherzusagen. Durch gigantische Skalierung (GPT-1 -> GPT-2 -> GPT-3 -> GPT-4) entwickelten sie Fähigkeiten, die weit über Textvervollständigung hinausgehen.