web-llm

O nástroji

WebLLM je vysoce výkonný engine pro inferenci jazykových modelů, který běží přímo v prohlížeči díky technologii WebGPU. Díky tomu odpadá potřeba serverové infrastruktury pro zpracování dotazů – model se spouští lokálně na straně klienta, což přináší úsporu nákladů, vyšší soukromí a možnost personalizace bez odesílání dat na cizí servery. Nástroj nabízí plnou kompatibilitu s OpenAI API, včetně podpory JSON módu, function-calling a streamování odpovědí v reálném čase. Nativně podporuje širokou škálu modelů jako Llama, Phi, Gemma, RedPajama, Mistral nebo Qwen a umožňuje také integraci vlastních modelů ve formátu MLC. Vývojáři mohou WebLLM snadno začlenit do svých projektů pomocí NPM, Yarn nebo přímo přes CDN, k dispozici jsou i ukázky pro Web Worker, Service Worker a Chrome rozšíření. Projekt je open-source a dostupný na GitHubu, demo verze na webu slouží pouze pro výzkumné účely a podléhá licencím modelů LLaMA, Vicuna a RedPajama.

Klíčové vlastnosti

• Běh jazykových modelů přímo v prohlížeči přes WebGPU
• Plná kompatibilita s OpenAI API včetně function-calling
• Podpora JSON módu a streamování odpovědí v reálném čase
• Nativní podpora modelů Llama, Phi, Gemma, Mistral, Qwen
• Integrace vlastních modelů ve formátu MLC
• Podpora Web Workerů, Service Workerů a Chrome rozšíření

Časté dotazy

Kategorie

Další nástroje v kategorii Chatboti / asistenti

Nezůstávejte jen u nejoblíbenějších – tohle jsou další nástroje z kategorie Chatboti / asistenti, které stojí za prohlédnutí.

• 
  WebAI2API

  Neuvedeno
  45 %
• 
  What-A-Prompt

  Neuvedeno
  70 %
• 
  ZenMux

  Placené
  1 %
• 
  zeroclaw

  Open-source zdarma pod MIT licencí, náklady na LLM providery si hradí uživatel sám
  32 %
• 
  120.dev

  Freemium
  45 %