transformer-explainer

O nástroji

Transformer Explainer je interaktivní edukační nástroj, který vizuálně vysvětluje architekturu transformerů – neuronové sítě, na níž jsou postaveny modely jako GPT, Llama nebo Gemini. Nástroj je poháněn modelem GPT-2 (small) se 124 miliony parametrů a umožňuje uživateli zadat vlastní textový prompt (např. „Data visualization empowers users to“) a sledovat, jak model predikuje další token, včetně nastavení parametrů jako Temperature, Top-k a Top-p samplingu. Vizualizace krok po kroku ukazuje jednotlivé fáze zpracování textu: tokenizaci vstupu, tvorbu token embeddingů (GPT-2 má slovník 50 257 tokenů reprezentovaných 768-dimenzionálními vektory, tedy maticí s přibližně 39 miliony parametrů), přidání pozičního kódování a následné zpracování v 12 transformer blocích obsahujících mechanismus multi-head self-attention a MLP vrstvu. Na závěr nástroj demonstruje, jak výstupní pravděpodobnosti určují predikci dalšího tokenu v sekvenci. Jde o volně dostupný vzdělávací projekt bez zmínky o placených funkcích, API nebo otevřeném zdrojovém kódu v dostupném textu, určený zejména studentům a zájemcům o pochopení principů fungování jazykových modelů typu GPT.

Kategorie