unsloth

O nástroji

Unsloth umožňuje fine-tuning velkých jazykových modelů, jako jsou Llama, Gemma nebo Qwen, až 2× rychleji a s nižšími nároky na VRAM než standardní tréninkové pipeline. Podporuje techniky LoRA, QLoRA i full fine-tuning, dále DPO, ORPO a RLHF trénink, a výsledné modely lze exportovat do formátů GGUF nebo vLLM. Díky vlastním GPU kernelům dosahuje až 10× rychlejšího tréninku na jednom GPU a až 32× při využití více GPU oproti Flash Attention 2. Framework běží na macOS, Linuxu i Windows a podporuje NVIDIA, AMD, Intel i CPU setupy. Součástí je Unsloth Studio, které funguje zcela offline a nabízí OpenAI-kompatibilní API pro lokální modely s podporou tool-callingu a web searche. Základní verze Unsloth je zdarma a open source pod licencí Apache 2.0, hlavní GitHub repozitář má přes 40 000 hvězd a kvantizované modely dosahují přes 10 milionů stažení měsíčně na Hugging Face. Pro firmy jsou dostupné placené tarify Pro a Enterprise s podporou multi-GPU a multi-node tréninku, jejichž cena se řeší individuálně přes obchodní oddělení.

Klíčové vlastnosti

• Fine-tuning modelů Llama, Gemma či Qwen až 2× rychleji
• Až 10× rychlejší trénink na jednom GPU díky vlastním kernelům
• Podpora LoRA, QLoRA, full fine-tuningu, DPO, ORPO a RLHF
• Export výsledných modelů do formátů GGUF nebo vLLM
• Běh na NVIDIA, AMD, Intel i CPU napříč macOS, Linuxem a Windows
• Offline Unsloth Studio s OpenAI-kompatibilním API a tool-callingem

Časté dotazy

Kategorie