tensorzero

O nástroji

TensorZero je open-source LLMOps platforma postavená na Rustu, která sjednocuje přístup k libovolným LLM providerům (i self-hosted modelům) přes jedno unifikované API. Zajišťuje nízkou latenci (méně než 1ms p99 při 10k+ QPS), tool use, structured outputs, batch zpracování, embeddings, multimodalitu a caching. Součástí jsou i prompt templates, routing, retries, fallbacks a load balancing. Platforma je 100% self-hosted, licencovaná pod Apache 2.0, a je určena vývojářům a firmám budující produkční LLM aplikace – od AI startupů až po firmy z žebříčku Fortune 10. Podle uvedených informací se přes TensorZero odehrává přibližně 1 % globálních výdajů na LLM API. Nástroj lze adoptovat postupně a kombinovat s dalšími řešeními – je kompatibilní s OpenAI SDK a OpenTelemetry. Nabízí dedikovaný Python klient. Používání je zdarma, uživatel si pouze zajišťuje vlastní API klíče k LLM providerům, žádné další poplatky za jádro platformy nejsou účtovány.

Kategorie