LlamaFactory

O nástroji

LLaMA Factory je open-source nástroj pro trénování a fine-tuning velkých jazykových modelů (LLM), který umožňuje pomocí webového rozhraní (WebUI) doladit stovky předtrénovaných modelů bez psaní kódu. Podporuje modely jako LLaMA, LLaVA, Mistral, Mixtral-MoE, Qwen, Yi, Gemma, Baichuan, ChatGLM nebo Phi. Nástroj nabízí řadu tréninkových metod (předtrénování, instrukční fine-tuning, RLHF, PPO, DPO, KTO, ORPO), různé úrovně přesnosti výpočtu (16bit plné doladění, LoRA, QLoRA s 2–8bitovou kvantizací přes AQLM/AWQ/GPTQ/HQQ/EETQ) a optimalizační algoritmy jako GaLore, DoRA, LongLoRA nebo LoRA+. Pro akceleraci využívá FlashAttention-2 a Unsloth, pro inferenci Transformers a vLLM. Sledování experimentů zajišťuje integrovaný LlamaBoard, případně napojení na TensorBoard, Wandb, MLflow či SwanLab. Dokumentace je primárně v čínštině, projekt je dostupný jako open source bez zmínky o placených tarifech.

Kategorie