axolotl

O nástroji

Axolotl je bezplatný open-source nástroj určený pro vývojáře a výzkumníky, kteří chtějí dotrénovávat (fine-tunovat) velké jazykové modely. Podporuje širokou škálu modelů z Hugging Face Hub, včetně LLaMA, Mistral, Mixtral, GPT-OSS a dalších, a umí trénovat i multimodální modely (vision-language modely jako Qwen2-VL, LLaVA či audio modely jako Voxtral). Nástroj nabízí více metod trénování – full fine-tuning, LoRA, QLoRA, GPTQ, QAT, preference tuning (DPO, IPO, KTO, ORPO), reinforcement learning (GRPO, GDPO) i reward modelling. Celý pipeline (příprava dat, trénink, evaluace, kvantizace, inference) lze řídit jedním YAML konfiguračním souborem, což zjednodušuje opakované použití nastavení. Axolotl podporuje multi-GPU i multi-node trénování (FSDP, DeepSpeed, Torchrun, Ray) a řadu výkonnostních optimalizací jako Flash Attention, Liger Kernel nebo Sequence Parallelism. K dispozici jsou Docker image i PyPI balíček pro nasazení na cloudových platformách (RunPod, Vast.ai, Modal a další) i lokálním hardwaru s NVIDIA nebo AMD GPU.

Kategorie