web-llm

O nástroji

WebLLM je vysoce výkonný engine pro inferenci jazykových modelů, který běží přímo v prohlížeči díky technologii WebGPU. Díky tomu odpadá potřeba serverové infrastruktury pro zpracování dotazů – model se spouští lokálně na straně klienta, což přináší úsporu nákladů, vyšší soukromí a možnost personalizace bez odesílání dat na cizí servery. Nástroj nabízí plnou kompatibilitu s OpenAI API, včetně podpory JSON módu, function-calling a streamování odpovědí v reálném čase. Nativně podporuje širokou škálu modelů jako Llama, Phi, Gemma, RedPajama, Mistral nebo Qwen a umožňuje také integraci vlastních modelů ve formátu MLC. Vývojáři mohou WebLLM snadno začlenit do svých projektů pomocí NPM, Yarn nebo přímo přes CDN, k dispozici jsou i ukázky pro Web Worker, Service Worker a Chrome rozšíření. Projekt je open-source a dostupný na GitHubu, demo verze na webu slouží pouze pro výzkumné účely a podléhá licencím modelů LLaMA, Vicuna a RedPajama.

Kategorie