LocalAI

O nástroji

LocalAI je otevřený, modulární AI runtime licencovaný pod MIT, který umožňuje provozovat text, vizi, řeč, obrázky, video, embeddingy, reranking i autonomní agenty v jednom systému – od CPU notebooku až po distribuovaný GPU cluster. Nabízí přes 60 backendů a je kompatibilní s API jako OpenAI, Anthropic, Ollama nebo ElevenLabs, přičemž uživatel si sám vybírá model i engine. Architektura je postavena na malém jádru, ke kterému se podle potřeby připojují izolované backendy (llama.cpp, vLLM, SGLang, MLX, whisper.cpp a další), takže lze engine nezávisle instalovat, aktualizovat nebo odebírat. Podporuje širokou škálu hardwaru – CPU, NVIDIA, AMD, Intel, Apple Silicon, Vulkan i Jetson – a umožňuje vytvořit vlastní backend v libovolném jazyce přes otevřený gRPC kontrakt. Kromě inference nabízí LocalAI kompletní kontrolní vrstvu pro lokální AI: agenty s MCP nástroji, pamětí a RAG, realtime hlasové rozhraní s WebRTC a streamovanou STT/TTS, nástroje pro ochranu soukromí (detekce a redakce PII) a správu modelů včetně fine-tuningu a kvantizace. Spuštění probíhá jedním Docker příkazem, projekt je dostupný zdarma jako open source na GitHubu.

Kategorie