LlamaFactory

O nástroji

LLaMA Factory je open-source nástroj pro trénování a fine-tuning velkých jazykových modelů (LLM), který umožňuje pomocí webového rozhraní (WebUI) doladit stovky předtrénovaných modelů bez psaní kódu. Podporuje modely jako LLaMA, LLaVA, Mistral, Mixtral-MoE, Qwen, Yi, Gemma, Baichuan, ChatGLM nebo Phi. Nástroj nabízí řadu tréninkových metod (předtrénování, instrukční fine-tuning, RLHF, PPO, DPO, KTO, ORPO), různé úrovně přesnosti výpočtu (16bit plné doladění, LoRA, QLoRA s 2–8bitovou kvantizací přes AQLM/AWQ/GPTQ/HQQ/EETQ) a optimalizační algoritmy jako GaLore, DoRA, LongLoRA nebo LoRA+. Pro akceleraci využívá FlashAttention-2 a Unsloth, pro inferenci Transformers a vLLM. Sledování experimentů zajišťuje integrovaný LlamaBoard, případně napojení na TensorBoard, Wandb, MLflow či SwanLab. Dokumentace je primárně v čínštině, projekt je dostupný jako open source bez zmínky o placených tarifech.

Klíčové vlastnosti

• Fine-tuning bez psaní kódu přes WebUI (LlamaBoard)
• Podpora desítek modelů: LLaMA, Mistral, Qwen, Gemma, ChatGLM aj.
• Metody trénování: SFT, RLHF, PPO, DPO, KTO, ORPO
• Kvantizace 2–8bit přes AQLM, AWQ, GPTQ, HQQ, EETQ
• Akcelerace pomocí FlashAttention-2 a Unsloth
• Sledování experimentů přes TensorBoard, Wandb, MLflow, SwanLab

Časté dotazy

Kategorie

Další nástroje v kategorii Vývojářské nástroje

Nezůstávejte jen u nejoblíbenějších – tohle jsou další nástroje z kategorie Vývojářské nástroje, které stojí za prohlédnutí.

• 
  llm

  Neuvedeno
  40 %
• 
  llm-app

  Neuvedeno
  35 %
• 
  llm-course

  Zdarma
  54 %
• 
  LLM Inference Calculator

  Zdarma
  1 %
• 
  LLMForEverybody

  Freemium
  52 %