transformer-explainer

O nástroji

Transformer Explainer je interaktivní edukační nástroj, který vizuálně vysvětluje architekturu transformerů – neuronové sítě, na níž jsou postaveny modely jako GPT, Llama nebo Gemini. Nástroj je poháněn modelem GPT-2 (small) se 124 miliony parametrů a umožňuje uživateli zadat vlastní textový prompt (např. „Data visualization empowers users to“) a sledovat, jak model predikuje další token, včetně nastavení parametrů jako Temperature, Top-k a Top-p samplingu. Vizualizace krok po kroku ukazuje jednotlivé fáze zpracování textu: tokenizaci vstupu, tvorbu token embeddingů (GPT-2 má slovník 50 257 tokenů reprezentovaných 768-dimenzionálními vektory, tedy maticí s přibližně 39 miliony parametrů), přidání pozičního kódování a následné zpracování v 12 transformer blocích obsahujících mechanismus multi-head self-attention a MLP vrstvu. Na závěr nástroj demonstruje, jak výstupní pravděpodobnosti určují predikci dalšího tokenu v sekvenci. Jde o volně dostupný vzdělávací projekt bez zmínky o placených funkcích, API nebo otevřeném zdrojovém kódu v dostupném textu, určený zejména studentům a zájemcům o pochopení principů fungování jazykových modelů typu GPT.

Klíčové vlastnosti

• Interaktivní vizualizace všech vrstev transformeru GPT-2
• Vlastní textový prompt s krokovým sledováním predikce dalšího tokenu
• Nastavení parametrů Temperature, Top-k a Top-p samplingu
• Zobrazení tokenizace a 768-dimenzionálních token embeddingů
• Vizualizace 12 transformer bloků s self-attention a MLP vrstvou
• Zobrazení výstupních pravděpodobností pro predikci tokenu

Časté dotazy

Kategorie

Další nástroje v kategorii Vzdělávání

Nezůstávejte jen u nejoblíbenějších – tohle jsou další nástroje z kategorie Vzdělávání, které stojí za prohlédnutí.

• 
  Transvribe

  Zdarma
  90 %
• 
  Trellis

  Cena na vyžádání
  73 %
• 
  Trivai

  Neuvedeno
  73 %
• 
  TurboLearn

  Freemium
  1 %
• 
  TurinQ

  Freemium
  1 %