sglang
Open-source framework pro rychlé a škálovatelné nasazení velkých jazykových a multimodálních modelů, určený vývojářům a firmám.
O nástroji
SGLang je open-source serving framework pro inferenci velkých jazykových modelů (LLM) a multimodálních modelů. Podporuje nasazení od jednoho GPU až po distribuované clustery a klade důraz na nízkou latenci a vysokou propustnost při produkčním provozu. Nástroj nabízí širokou podporu hardwaru (NVIDIA GPU, AMD GPU, CPU servery, TPU, Ascend NPU, XPU) a modelů (DeepSeek, Qwen, GPT-OSS, Llama, Mistral, GLM). Mezi pokročilé optimalizace patří disagregovaný prefill/decode, spekulativní dekódování, paralelismy, scheduler s nulovou režií a optimalizované GPU kernely. Instalace probíhá přes pip nebo Docker, server se spouští jediným příkazem a komunikace probíhá přes OpenAI-kompatibilní API endpointy. Kód je dostupný na GitHubu a komunita se schází také na Slacku a Discordu.
Klíčové vlastnosti
- Podpora NVIDIA, AMD, CPU, TPU, Ascend NPU i XPU
- Disagregovaný prefill/decode a spekulativní dekódování
- Nasazení od jednoho GPU po distribuované clustery
- Podpora modelů DeepSeek, Qwen, Llama, Mistral, GLM
- OpenAI-kompatibilní API endpointy
- Instalace přes pip nebo Docker jedním příkazem
Časté dotazy
Co SGLang umí?
Jde o open-source framework pro nasazení velkých jazykových a multimodálních modelů s důrazem na nízkou latenci a vysokou propustnost, od jednoho GPU až po distribuované clustery.
Kolik SGLang stojí?
SGLang je open-source nástroj dostupný zdarma ke stažení a použití na vlastní infrastruktuře.
Pro koho je SGLang určený a jak začít?
Je určený vývojářům a firmám nasazujícím LLM modely; stačí nainstalovat přes pip nebo Docker, spustit server jedním příkazem a komunikovat přes OpenAI-kompatibilní API.
Kategorie
AI novinky do e-mailu
Každý pátek 3 vybrané AI nástroje, prompt týdne a to nejdůležitější ze světa AI – přehledně, česky a bez balastu.
Jeden z nejstarších pravidelných českých AI newsletterů.
Podobné nástroje
Hledáte alternativu k sglang? Tady je 6 podobných nástrojů z kategorie Vývojářské nástroje.
Vectorizer AI
FreemiumPřevádí rastrové obrázky PNG, JPG, GIF, BMP a WebP na vektorové formáty SVG, PDF, EPS a DXF pomo...
Stable Diffusion
FreemiumStability AI je platforma pro generování obrázků, videa a dalšího obsahu pomocí generativní AI,...
Whisper
ZdarmaPřevádí mluvenou řeč na text ve více než 90 jazycích. Whisper je open-source model od OpenAI tré...
ai
FreemiumOpen-source TypeScript SDK od Vercelu pro vývojáře stavějící AI aplikace a agenty s React, Next....
Pinecone
FreemiumPinecone je vektorová databáze jako služba, která umožňuje ukládat, spravovat a prohledávat vekt...
Escape
NeuvedenoEscape je AI-powered platforma pro ofenzivní bezpečnost, která automatizuje discovery, pentestin...
Další nástroje v kategorii Vývojářské nástroje
Nezůstávejte jen u nejoblíbenějších – tohle jsou další nástroje z kategorie Vývojářské nástroje, které stojí za prohlédnutí.
