llm-course

O nástroji

LLM Course je vzdělávací repozitář na GitHubu, který slouží jako roadmapa pro pochopení, budování a nasazování velkých jazykových modelů. Obsah je rozdělen do tří pilířů: volitelné LLM Fundamentals (matematika, Python, neuronové sítě), LLM Scientist (budování co nejlepších modelů pomocí nejnovějších technik) a LLM Engineer (tvorba a nasazení LLM aplikací). Praktická cvičení jsou dostupná formou Colab notebooků. Obsahově kurz pokrývá celý životní cyklus modelu – od přípravy masivních datasetů pro pre-training (např. Llama 3.1 byla trénována na 15 bilionech tokenů), přes post-training a fine-tuning s chat templates a syntetickou generací dat, až po nasazení modelu přes API (např. GPT-4) nebo lokální provoz. Součástí je i téma bezpečnosti, konkrétně techniky prompt hackingu jako prompt injection a jailbreaking. Kurz je trvale zdarma a repozitář je vydán pod licencí Apache License 2.0, na GitHubu má přes 75 000 hvězd a 8 680 forků. Autor k tématu nabízí i doplňkovou placenou knihu LLM Engineer's Handbook a propojené projekty pro automatizaci LLM pipeline. Rozhraní ani obsah nejsou v češtině, jde o zahraniční (anglicky psaný) projekt.

Klíčové vlastnosti

• Tři tematické moduly: LLM Fundamentals, Scientist a Engineer
• Praktická cvičení formou Colab notebooků
• Pokrývá pre-training, fine-tuning i nasazení modelu
• Kapitoly o prompt injection a jailbreakingu
• Open-source repozitář pod licencí Apache 2.0
• Přes 75 000 hvězd a 8 680 forků na GitHubu

Časté dotazy

Kategorie