lmdeploy

O nástroji

LMDeploy je toolkit určený pro vývojáře a týmy, kteří potřebují efektivně nasadit a provozovat velké jazykové modely (LLM). Nabízí efektivní inferenci díky funkcím jako persistent batch (continuous batching), blocked KV cache, dynamic split&fuse, tensor paralelismus a vysoce výkonné CUDA kernely, čímž dosahuje až 1,8× vyššího průtoku požadavků oproti vLLM. Nástroj podporuje kvantizaci vah i k/v cache (weight-only a k/v quantization), přičemž při 4bitové inferenci dosahuje až 2,4× vyššího výkonu oproti FP16. Kvalita kvantizace byla ověřena pomocí evaluace OpenCompass. Dále umožňuje distribuci požadavků napříč více stroji a kartami prostřednictvím distribuční služby a je kompatibilní s technikami jako AWQ nebo Automatic Prefix Caching. Dokumentace pokrývá nasazení jak textových LLM, tak vision-language modelů (VLM), včetně offline inference pipeline a OpenAI-kompatibilního serveru. Podle dostupných informací dokumentace neuvádí licenční model ani cenu nástroje, proto tyto údaje nelze potvrdit.

Klíčové vlastnosti

• Persistent batch (continuous batching) a blocked KV cache
• Dynamic split&fuse a tensor paralelismus
• Kvantizace vah i k/v cache s až 2,4× rychlejší 4bitovou inferencí
• Podpora AWQ, GPTQ, SmoothQuant a Automatic Prefix Caching
• OpenAI-kompatibilní server i offline inference pipeline
• Nasazení textových LLM i vision-language modelů (VLM)

Časté dotazy

Kategorie

Další nástroje v kategorii Vývojářské nástroje

Nezůstávejte jen u nejoblíbenějších – tohle jsou další nástroje z kategorie Vývojářské nástroje, které stojí za prohlédnutí.

• 
  LocalAI

  Zdarma
  32 %
• 
  Locofy

  Zdarma
  71 %
• 
  lovcode

  „“
  45 %
• 
  ludwig

  Zdarma
  49 %
• 
  Lyzr AI

  Freemium
  45 %