Magnitude

O nástroji

Magnitude je nástroj pro vývojáře a nadšence do lokálního AI, kteří chtějí spouštět open-weight modely co nejrychleji na vlastním hardwaru – ať už jde o Apple Silicon, NVIDIA, AMD, Intel nebo jen CPU. Při stažení modelu si engine tuninguje kernely přímo na dané zařízení, aby našel nejrychlejší způsob inference, a ke každému modelu rovnou nabízí nejrychlejší speculative decoding drafter. Díky kvantované KV cache a sdílení prefix cache mezi sessions zvládá i více souběžných agentních session bez výrazného zpomalení a uvolňuje paměť, jakmile agent skončí. Instaluje se jako desktopová aplikace nebo CLI (instalátory pro macOS Apple Silicon/Intel, Windows x64, Linux x64 i ARM64) a jedním kliknutím se propojí s existujícími agenty jako Pi, OpenCode, Hermes nebo Codex. Lze ho provozovat i jako vzdálený server pro více počítačů nebo v Dockeru. Celý provoz běží lokálně bez nákladů na tokeny a bez odesílání dat mimo zařízení. Projekt je zdarma a open source pod licencí Apache 2.0, dostupný na GitHubu. Stránka a dokumentace jsou pouze v angličtině, o českém původu projektu důkazy nic neuvádějí.

Klíčové vlastnosti

• Ladění kernelů přímo na konkrétním hardwaru
• Nejrychlejší speculative decoding drafter ke každému modelu
• Kvantovaná KV cache pro úsporu paměti
• Sdílená prefix cache mezi více agentními session

Časté dotazy

Kategorie

Další nástroje v kategorii Vývojářské nástroje

Nezůstávejte jen u nejoblíbenějších – tohle jsou další nástroje z kategorie Vývojářské nástroje, které stojí za prohlédnutí.

• 
  Mailgent

  Freemium
  1 %
• 
  Make-it

  Neuvedeno
  44 %
• 
  MakerSuite

  Zdarma
  66 %
• 
  Manifest

  Freemium
  1 %
• 
  manifold

  Neuvedeno
  65 %