LocalAI

O nástroji

LocalAI je otevřený, modulární AI runtime licencovaný pod MIT, který umožňuje provozovat text, vizi, řeč, obrázky, video, embeddingy, reranking i autonomní agenty v jednom systému – od CPU notebooku až po distribuovaný GPU cluster. Nabízí přes 60 backendů a je kompatibilní s API jako OpenAI, Anthropic, Ollama nebo ElevenLabs, přičemž uživatel si sám vybírá model i engine. Architektura je postavena na malém jádru, ke kterému se podle potřeby připojují izolované backendy (llama.cpp, vLLM, SGLang, MLX, whisper.cpp a další), takže lze engine nezávisle instalovat, aktualizovat nebo odebírat. Podporuje širokou škálu hardwaru – CPU, NVIDIA, AMD, Intel, Apple Silicon, Vulkan i Jetson – a umožňuje vytvořit vlastní backend v libovolném jazyce přes otevřený gRPC kontrakt. Kromě inference nabízí LocalAI kompletní kontrolní vrstvu pro lokální AI: agenty s MCP nástroji, pamětí a RAG, realtime hlasové rozhraní s WebRTC a streamovanou STT/TTS, nástroje pro ochranu soukromí (detekce a redakce PII) a správu modelů včetně fine-tuningu a kvantizace. Spuštění probíhá jedním Docker příkazem, projekt je dostupný zdarma jako open source na GitHubu.

Klíčové vlastnosti

• Přes 60 backendů (llama.cpp, vLLM, SGLang, MLX, whisper.cpp aj.)
• Kompatibilní s API OpenAI, Anthropic, Ollama, ElevenLabs
• Podpora CPU, NVIDIA, AMD, Intel, Apple Silicon, Vulkan i Jetson
• Agenti s MCP nástroji, pamětí a RAG
• Realtime hlasové rozhraní s WebRTC a streamovanou STT/TTS
• Detekce a redakce citlivých údajů (PII)

Časté dotazy

Kategorie

Další nástroje v kategorii Chatboti / asistenti

Nezůstávejte jen u nejoblíbenějších – tohle jsou další nástroje z kategorie Chatboti / asistenti, které stojí za prohlédnutí.

• 
  LunarIQCZ

  Freemium
  1 %
• 
  MacGPT

  Freemium
  1 %
• 
  Magai

  Placené
  40 %
• 
  Math AI

  Freemium
  1 %
• 
  MiDash

  Placené
  52 %