OpenMythos

O nástroji

OpenMythos je experimentální open-source projekt vývojáře Kye Gomeze (GitHub: kyegomez/OpenMythos), který se pokouší teoreticky rekonstruovat architekturu stojící za modelem Claude Mythos. Jádrem je takzvaný Recurrent-Depth Transformer (RDT), v literatuře označovaný také jako Looped Transformer, který se skládá ze tří fází: úvodního bloku Prelude, smyčkového Recurrent Block spouštěného až max_loop_iters krát, a závěrečné fáze Coda. Útoková vrstva je přepínatelná mezi Grouped Query Attention a Multi-Latent Attention (DeepSeek-V2), která ukládá do cache komprimovaný KV latent místo plných K/V. Podle dostupných informací může rekurentní model se 770 miliony parametrů dosáhnout přibližně kvality standardního transformeru s 1,3 miliardy parametrů, tedy srovnatelné schopnosti při přibližně poloviční velikosti modelu. Projekt není přidružen, podporován ani spojen s Anthropic ani s jeho proprietárními systémy, vychází pouze z veřejně dostupné literatury. Nástroj je určen pro ML výzkumníky, LLM inženýry a nezávislé AI vývojáře jako experimentální laboratoř pro nápady se smyčkovými transformery, nejde o produkční inferenční stack. Instaluje se přes „pip install open-mythos“, volitelně s podporou Flash Attention 2, jako Python/PyTorch knihovna. Komerční ceny ani hostovaná API služba nebyly nalezeny, komunita se schází na Discordu (server Swarms, přes 15 000 členů).

Klíčové vlastnosti

• Rekurentní architektura Prelude – Recurrent Block – Coda
• Smyčkový blok spustitelný až max_loop_iters krát
• Přepínatelná pozornost mezi Grouped Query Attention a Multi-Latent Attention
• Komprimovaná KV cache díky DeepSeek-V2 latentní attention
• 770M parametrů dosahuje kvality ~1,3B standardního transformeru
• Instalace jako Python/PyTorch knihovna přes pip

Časté dotazy

Kategorie