train-llm-from-scratch

O nástroji

Projekt krok za krokem provádí celým pipeline tréninku LLM: pretraining na datasetu The Pile (9,8 miliardy tokenů, model o cca 400M parametrech), následné SFT na datasetech Alpaca, Dolly a GSM8K, trénink reward modelu a zarovnání pomocí DPO/ORPO/KTO, PPO nebo GRPO. Veškerý kód je napsán ručně v PyTorchi bez použití knihoven trl, peft nebo transformers a lze jej spustit na jednom GPU nebo škálovat přes více GPU pomocí DDP. Dokumentace je rozdělena do sekcí Foundations (tokenizace, transformer, attention, objektivy, optimalizace, generování) a jednotlivých stránek pro každou fázi pipeline (data, pretraining, SFT, reward model, DPO, PPO, GRPO, evaluace, inference/chat) a je v angličtině. Celý řetězec lze spustit jedním skriptem run_posttraining.sh, který provede SFT → RM → DPO → PPO → GRPO → evaluaci.

Kategorie