Mlx-serve

ZdarmaVývojářské nástroje

Mlx-serve spouští libovolné lokální LLM (MLX i GGUF formát) přímo na Macu a vystavuje je přes OpenAI, Anthropic i Ollama kompatibilní API – hodí se vývojářům a lokálním AI nadšencům, kteří chtějí chatovat, generovat obrázky/hudbu/video nebo pouštět Claude Code offline bez posílání dat do cloudu.

O nástroji

Mlx-serve je bezplatná open-source aplikace pro macOS (26+, čipy M1–M5), která běží jako lokální server na portu 11234 a servíruje chat, embeddings i generování obrázků, videa, hudby, hlasu a 3D modelů z jednoho procesu. Podporuje tři kompatibilní API – OpenAI, Anthropic Messages (takže lze přes jednu proměnnou prostředí ANTHROPIC_BASE_URL spustit Claude Code lokálně a zdarma) a Ollama – takže existující nástroje a SDK se připojí beze změny, bez API klíče při běhu na localhost. Nástroj staví na enginu ds4 (antirez/ds4) s nativními Metal kernely a slibuje rychlost přes LM Studio – např. 72 → 150 tok/s na smyčkách úprav souborů s modelem Gemma 4 E4B v 4bitové kvantizaci, díky token-by-token ověřované spekulativní dekódování. Řeší i typický problém malých lokálních modelů s voláním nástrojů (tool calling) – poškozené JSON výstupy opravuje na úrovni API, aniž by to model nebo klient poznal, a to napříč všemi API surfacy včetně streamování. Stejný engine je zabudovaný i do mobilní aplikace MLX Chat – Local AI pro iPhone, takže chat, klonování hlasu i generování obrázků/hudby běží plně offline na GPU telefonu bez nutnosti účtu nebo cloudu. Agentní režim dovoluje nástroji provádět akce v souborovém systému v omezeném rozsahu (vybraná složka nebo izolovaný Linux VM) s nastavitelnou mírou autonomie. Nástroj je v angličtině, instalace probíhá přes Homebrew nebo stažením aplikace z GitHubu.

Klíčové vlastnosti

Lokální server na portu 11234 bez cloudu
Kompatibilní API OpenAI, Anthropic i Ollama
Podpora MLX i GGUF modelů
Generování obrázků, hudby, videa, hlasu a 3D modelů

Časté dotazy

Co Mlx-serve umí?

Spouští lokální LLM modely (MLX i GGUF) na Macu a servíruje přes ně chat, embeddings i generování obrázků, hudby, videa, hlasu a 3D modelů z jednoho procesu.

Kolik Mlx-serve stojí?

Je zcela zdarma a open-source, bez poplatků a bez watermarků na generovaném obsahu.

Pro koho je Mlx-serve a jak začít?

Hodí se vývojářům a lokálním AI nadšencům s Macem (macOS 26+, čipy M1–M5) – stačí nainstalovat přes Homebrew nebo stáhnout aplikaci z GitHubu a připojit existující nástroje přes OpenAI/Anthropic/Ollama kompatibilní API.

Kategorie

Vývojářské nástroje

AI novinky do e-mailu

Každý pátek 3 vybrané AI nástroje, prompt týdne a to nejdůležitější ze světa AI – přehledně, česky a bez balastu.

Jeden z nejstarších pravidelných českých AI newsletterů.

Podobné nástroje

Hledáte alternativu k Mlx-serve? Tady je 6 podobných nástrojů z kategorie Vývojářské nástroje.

Vectorizer AI

Freemium

Převádí rastrové obrázky PNG, JPG, GIF, BMP a WebP na vektorové formáty SVG, PDF, EPS a DXF pomo...

Otevřít detail99 %

Stable Diffusion

Freemium

Stability AI je platforma pro generování obrázků, videa a dalšího obsahu pomocí generativní AI,...

API

Otevřít detail99 %

Whisper

Zdarma

Převádí mluvenou řeč na text ve více než 90 jazycích. Whisper je open-source model od OpenAI tré...

API

Otevřít detail99 %

AI 만화 번역기

Placeno kreditovým systémem – 1 kredit za model Manga/EagleEye, 2 kredity za model Ultra; konkrétní ceník neuveden.

Online nástroj pro překlad textových bublin v manga a komiksových obrázcích pomocí AI – podporuj...

Otevřít detail99 %

Pinecone

Freemium

Pinecone je vektorová databáze jako služba, která umožňuje ukládat, spravovat a prohledávat vekt...

Otevřít detail99 %

Escape

Neuvedeno

Escape je AI-powered platforma pro ofenzivní bezpečnost, která automatizuje discovery, pentestin...

Otevřít detail99 %

Zobrazit všechny alternativy v kategorii Vývojářské nástroje

Další nástroje v kategorii Vývojářské nástroje

Nezůstávejte jen u nejoblíbenějších – tohle jsou další nástroje z kategorie Vývojářské nástroje, které stojí za prohlédnutí.