train-llm-from-scratch

O nástroji

Projekt krok za krokem provádí celým pipeline tréninku LLM: pretraining na datasetu The Pile (9,8 miliardy tokenů, model o cca 400M parametrech), následné SFT na datasetech Alpaca, Dolly a GSM8K, trénink reward modelu a zarovnání pomocí DPO/ORPO/KTO, PPO nebo GRPO. Veškerý kód je napsán ručně v PyTorchi bez použití knihoven trl, peft nebo transformers a lze jej spustit na jednom GPU nebo škálovat přes více GPU pomocí DDP. Dokumentace je rozdělena do sekcí Foundations (tokenizace, transformer, attention, objektivy, optimalizace, generování) a jednotlivých stránek pro každou fázi pipeline (data, pretraining, SFT, reward model, DPO, PPO, GRPO, evaluace, inference/chat) a je v angličtině. Celý řetězec lze spustit jedním skriptem run_posttraining.sh, který provede SFT → RM → DPO → PPO → GRPO → evaluaci.

Klíčové vlastnosti

• Ruční PyTorch implementace bez trl, peft či transformers
• Pretraining na 9,8 miliardy tokenů z The Pile
• SFT na datasetech Alpaca, Dolly a GSM8K
• Zarovnání pomocí DPO, ORPO, KTO, PPO nebo GRPO
• Trénink reward modelu metodou Bradley-Terry
• Spustitelné na jednom GPU nebo škálované přes DDP

Časté dotazy

Kategorie

Další nástroje v kategorii Vývojářské nástroje

Nezůstávejte jen u nejoblíbenějších – tohle jsou další nástroje z kategorie Vývojářské nástroje, které stojí za prohlédnutí.

• 
  Transformify Automate

  Neuvedeno
  83 %
• 
  trigger.dev

  Placené
  40 %
• 
  Try Benzi

  Neuvedeno
  1 %
• 
  tuicr

  Neuvedeno
  35 %
• 
  turbo-flow

  Neuvedeno
  32 %