LLM Inference Calculator

O nástroji

LLM Inference Calculator je open-source webová aplikace určená AI vývojářům, výzkumníkům a nadšencům, kteří plánují self-hosted provoz velkých jazykových modelů. Nástroj počítá klíčové metriky inference: propustnost (throughput), latenci, TTFT (Time to First Token), TPOT (Time Per Output Token) a využití GPU paměti – vše bez nutnosti registrace nebo API klíče. Kalkulátor zohledňuje overhead KV cache při výpočtu VRAM a pro systémy s unifikovanou pamětí předpokládá využití až 75 % systémové RAM jako VRAM. Komunita navrhuje rozšíření o záložku „Approximated Tokens“, která by na základě zadané konfigurace GPU, CPU a rychlosti RAM odhadovala dosažitelné tokeny za sekundu. Výsledky jsou aproximace a mohou se lišit podle konkrétní implementace frameworku. Projekt je postaven na technologickém stacku React + TypeScript + Vite a podporuje nasazení přes Docker. Zdrojový kód je veřejně dostupný na GitHubu (repozitář má přes 319 hvězdiček a 69 forků), takže si jej můžete spustit i lokálně nebo přizpůsobit vlastním potřebám.

Kategorie

Další nástroje v kategorii Vývojářské nástroje

Nezůstávejte jen u nejoblíbenějších – tohle jsou další nástroje z kategorie Vývojářské nástroje, které stojí za prohlédnutí.

• 
  LLMForEverybody

  Freemium
  53 %
• 
  LLMs-from-scratch

  Placené
  37 %
• 
  llmware

  Framework zdarma jako open source, ceny komerční SaaS varianty od AI Bloks nejsou uvedeny
  41 %
• 
  LMCache

  Neuvedeno
  46 %
• 
  lmdeploy

  Neuvedeno
  31 %