Pojem

Predikce následujícího tokenu

Základní úkol, na kterém se jazykový model učí: hádat, jaké slovo nebo jeho kousek přijde dál. Zní to triviálně, ale aby to model zvládl u těžkých vět, musí si vybudovat vnitřní představu o světě. Vysvětluje to, proč AI umí víc než jen skládat věty.