Llmspeed

O nástroji

Llmspeed je open-source webová aplikace, která umožňuje vybrat hardware a jazykový model a nasimulovat jeho reálnou rychlost ještě před nákupem zařízení. Aplikace simuluje tokeny za sekundu a čas do prvního tokenu na základě ověřených benchmarků pro GPU, Macy a další zařízení – uživatel zadá hardware, model a kvantizaci, aplikace počká odhadovaný čas do prvního tokenu a poté streamuje text předpokládanou rychlostí pro dané zařízení. Nástroj pokrývá 30 typů GPU, Maců a CPU a 15 populárních modelů napříč platformami CUDA, Metal, ROCm, Vulkan a CPU. K dispozici je také takzvaný race mode, který umožňuje porovnat dvě sestavy vedle sebe, například RTX 5090 proti Mac Studiu. Aplikace zároveň počítá memory-fit kontrolu – tedy váhy, KV cache a runtime overhead vůči využitelné paměti (zhruba 75 % unifikované paměti u Maců a 93 % VRAM u diskrétních GPU). Každý odhad je označen jako Measured (reálný benchmark z r/LocalLLaMA, localscore.ai nebo od přispěvatelů), Derived (odvozeno z podobných sestav) nebo Projected (odhad ze specifikací hardwaru). Kód a data jsou dostupné jako open source na GitHubu, informace o cenové dostupnosti samotné aplikace nejsou k dispozici.

Kategorie

Další nástroje v kategorii Produktivita

Nezůstávejte jen u nejoblíbenějších – tohle jsou další nástroje z kategorie Produktivita, které stojí za prohlédnutí.

• 
  lobehub

  Freemium
  48 %
• 
  Lotse

  Freemium
  1 %
• 
  lxi.ai

  Zkušební verze
  1 %
• 
  Maester.app

  Zdarma
  59 %
• 
  magentic-ui

  Neuvedeno
  32 %