omlx

O nástroji

oMLX je open-source inferenční server postavený na frameworku MLX, určený pro Apple Silicon Macy (M1 a novější, macOS 15+, minimálně 16GB RAM, doporučeno 64GB+ pro větší modely). Nabízí drop-in API kompatibilní s OpenAI (/v1/chat/completions) i Anthropic (/v1/messages), díky čemuž jej lze snadno napojit na nástroje jako Claude Code, OpenClaw nebo Cursor. Podporuje textové LLM, vision-language modely, OCR modely, embeddings i rerankery. Klíčovou technickou předností je vrstvený KV caching – na rozdíl od Ollamy nebo LM Studia, které při změně kontextu invalidují celou cache, oMLX ukládá jednotlivé bloky KV cache na SSD. Díky tomu klesá doba do prvního tokenu (TTFT) u dlouhých kontextů z 30–90 sekund na méně než 5 sekund. Server dále umí continuous batching pro souběžné požadavky a multi-model serving. Ovládání zajišťuje aplikace v macOS menu bar, webové rozhraní na adrese /admin pro monitoring, správu modelů, chat a benchmarky, a také lehký CLI shim pro terminál či Apple Shortcuts. Nástroj se distribuuje jako .dmg soubor ke stažení z Releases, obsahuje in-app auto-update a je zdarma k dispozici pod licencí Apache 2.0.

Klíčové vlastnosti

• Vrstvený KV caching s ukládáním bloků na SSD
• API kompatibilní s OpenAI i Anthropic rozhraním
• Podpora LLM, vision-language, OCR, embeddings a rerankerů
• Continuous batching a multi-model serving
• Ovládání přes menu bar aplikaci, web /admin i CLI

Časté dotazy

Kategorie