sglang
Open-source framework pro rychlé a škálovatelné nasazení velkých jazykových a multimodálních modelů, určený vývojářům a firmám.
O nástroji
SGLang je open-source serving framework pro inferenci velkých jazykových modelů (LLM) a multimodálních modelů. Podporuje nasazení od jednoho GPU až po distribuované clustery a klade důraz na nízkou latenci a vysokou propustnost při produkčním provozu. Nástroj nabízí širokou podporu hardwaru (NVIDIA GPU, AMD GPU, CPU servery, TPU, Ascend NPU, XPU) a modelů (DeepSeek, Qwen, GPT-OSS, Llama, Mistral, GLM). Mezi pokročilé optimalizace patří disagregovaný prefill/decode, spekulativní dekódování, paralelismy, scheduler s nulovou režií a optimalizované GPU kernely. Instalace probíhá přes pip nebo Docker, server se spouští jediným příkazem a komunikace probíhá přes OpenAI-kompatibilní API endpointy. Kód je dostupný na GitHubu a komunita se schází také na Slacku a Discordu.
Kategorie
AI novinky do e-mailu
Každý pátek 3 vybrané AI nástroje, prompt týdne a to nejdůležitější ze světa AI — přehledně, česky a bez balastu.
Jeden z nejstarších pravidelných českých AI newsletterů.
Podobné nástroje
Hledáte alternativu k sglang? Tady je 6 podobných nástrojů z kategorie Vývojářské nástroje.
Vectorizer AI
FreemiumPřevádí rastrové obrázky PNG, JPG, GIF, BMP a WebP na vektorové formáty SVG, PDF, EPS a DXF pomo...
Stable Diffusion
FreemiumStability AI je platforma pro generování obrázků, videa a dalšího obsahu pomocí generativní AI,...
Whisper
ZdarmaPřevádí mluvenou řeč na text ve více než 90 jazycích. Whisper je open-source model od OpenAI tré...
Escape
NeuvedenoEscape je AI-powered platforma pro ofenzivní bezpečnost, která automatizuje discovery, pentestin...
Pinecone
FreemiumPinecone je vektorová databáze jako služba, která umožňuje ukládat, spravovat a prohledávat vekt...
MarsAi
ZdarmaMarsX je vývojářská platforma, která kombinuje AI, NoCode, kód a MicroApps pro rychlé budování S...