ml-engineering

O nástroji

Machine Learning Engineering Open Book je open-source webová kniha zaměřená na praktické inženýrství při tréninku velkých jazykových modelů (LLM) a vizuálně-jazykových modelů (VLM) v ekosystému PyTorch. Autor Stas Bekman v ní sdílí zkušenosti z reálných projektů, jako je trénink 176miliardového modelu BLOOM na 384 GPU A100 nebo multimodálního modelu IDEFICS-80b na 512 GPU A100. Obsah se soustředí na výkonnostní optimalizaci a řešení problémů typických pro velké distribuované tréninky – identifikaci paměťových úniků, rychlostních úzkých hrdel a dalších obtížně odhalitelných chyb v systémech. Doplňkovým zdrojem je kniha The Art of Debugging, věnovaná metodikám efektivního ladění softwaru. Autor je zkušený softwarový inženýr (píše software od roku 1994), držitel PyTorch Community Award za rok 2023, dříve působil v Hugging Face a Contextual.AI, nyní pracuje v týmu Snowflake AI Research. Nástroj je určen především vývojářům a výzkumníkům pracujícím na tréninku LLM/VLM, informace o ceně nejsou k dispozici.

Kategorie