mlc-llm

O nástroji

MLC LLM je open-source machine learning compiler a deployment engine, který umožňuje vývojářům spouštět velké jazykové modely nativně na širokém spektru platforem – od webového prohlížeče (přes WebGPU a WebAssembly, součástí projektu je WebLLM) přes macOS (Metal), Linux a Windows (Vulkan, ROCm, CUDA) až po iOS/iPadOS (Metal) a Android (OpenCL). Nástroj se instaluje přes pip, doporučeno v izolovaném conda prostředí, a nabízí okamžité vyzkoušení pomocí chat CLI s 4-bit kvantizovaným modelem Llama-3 8B jedním příkazem. Jádrem je MLCEngine, jednotný inferenční engine dostupný přes REST server s kompletní podporou OpenAI API, dále přes Python, JavaScript, iOS a Android rozhraní. Díky kompilaci modelů lze LLM provozovat lokálně v prohlížeči bez serverových zdrojů, což je vhodné pro vývojáře a výzkumníky, kteří chtějí experimentovat s modely bez závislosti na cloudových službách. Projekt je veřejně dostupný na GitHubu (mlc-ai/mlc-llm) a je komunitně vedený; konkrétní cenový model není u nástroje uveden.

Kategorie

Další nástroje v kategorii Vývojářské nástroje

Nezůstávejte jen u nejoblíbenějších — tohle jsou další nástroje z kategorie Vývojářské nástroje, které stojí za prohlédnutí.

• 
  mlflow

  Zdarma
  1 %
• 
  mobilecli

  Freemium
  1 %
• 
  modular

  Neuvedeno
  1 %
• 
  Moonbeam Exchange

  Placené
  57 %
• 
  move.ai

  Cena na vyžádání
  82 %