ml-engineering

O nástroji

Machine Learning Engineering Open Book je open-source webová kniha zaměřená na praktické inženýrství při tréninku velkých jazykových modelů (LLM) a vizuálně-jazykových modelů (VLM) v ekosystému PyTorch. Autor Stas Bekman v ní sdílí zkušenosti z reálných projektů, jako je trénink 176miliardového modelu BLOOM na 384 GPU A100 nebo multimodálního modelu IDEFICS-80b na 512 GPU A100. Obsah se soustředí na výkonnostní optimalizaci a řešení problémů typických pro velké distribuované tréninky – identifikaci paměťových úniků, rychlostních úzkých hrdel a dalších obtížně odhalitelných chyb v systémech. Doplňkovým zdrojem je kniha The Art of Debugging, věnovaná metodikám efektivního ladění softwaru. Autor je zkušený softwarový inženýr (píše software od roku 1994), držitel PyTorch Community Award za rok 2023, dříve působil v Hugging Face a Contextual.AI, nyní pracuje v týmu Snowflake AI Research. Nástroj je určen především vývojářům a výzkumníkům pracujícím na tréninku LLM/VLM, informace o ceně nejsou k dispozici.

Klíčové vlastnosti

• Postupy pro trénink LLM a VLM modelů
• Zkušenosti z tréninku 176B modelu BLOOM na 384 GPU
• Poznatky z tréninku IDEFICS-80b na 512 GPU
• Identifikace paměťových úniků a rychlostních úzkých hrdel
• Doplňková kniha The Art of Debugging o ladění softwaru
• Zaměření na ekosystém PyTorch

Časté dotazy

Kategorie

Další nástroje v kategorii Vývojářské nástroje

Nezůstávejte jen u nejoblíbenějších – tohle jsou další nástroje z kategorie Vývojářské nástroje, které stojí za prohlédnutí.

• 
  mlc-llm

  Neuvedeno
  45 %
• 
  mlflow

  Zdarma
  32 %
• 
  mobilecli

  Freemium
  32 %
• 
  modular

  Neuvedeno
  32 %
• 
  Momentic

  Placené
  1 %