litellm

O nástroji

LiteLLM je open-source knihovna, která poskytuje jednotné rozhraní pro volání více než 100 LLM modelů od různých poskytovatelů (OpenAI, Anthropic, Vertex AI, Bedrock, Azure OpenAI, Ollama a další) pomocí stejného formátu OpenAI Chat Completions API. Vývojáři tak mohou volat libovolného providera přes funkci completion() bez nutnosti učit se API pro každého zvlášť, s konzistentním výstupním formátem a vestavěnou retry/fallback logikou přes takzvaný Router. Kromě Python SDK nabízí LiteLLM i self-hosted Proxy Server (LLM Gateway) s virtuálními klíči, sledováním nákladů, centralizovaným logováním, guardrails, cachováním a administrátorským rozhraním pro platform týmy spravující přístup k LLM napříč organizací. Podle dohledaných faktů projekt podporuje přes 140 poskytovatelů a takřka 1 892 modelů a na GitHubu má více než 53 000 hvězdiček. Jádro LiteLLM je open-source pod MIT licencí a lze jej zdarma stáhnout a nasadit – uživatel platí pouze přímo providerovi za volání modelů, samotný nástroj funguje jako bezplatná vrstva pro překlad mezi API formáty. Existuje také enterprise verze s rozšířenými funkcemi jako SSO, RBAC, audit logy a podpora, jejíž cena však v dostupných podkladech uvedena není.

Klíčové vlastnosti

• Jednotné volání 100+ LLM přes funkci completion()
• Konzistentní formát výstupu napříč providery (OpenAI Chat Completions)
• Router s retry, fallback a load balancingem mezi nasazeními
• Self-hosted Proxy Server s virtuálními klíči a admin UI
• Centralizované logování, guardrails a cachování
• Rozpočty a limity na úrovni klíče, týmu nebo uživatele

Časté dotazy

Kategorie