LLMs-from-scratch

O nástroji

Kniha vydaná nakladatelstvím Manning v roce 2024 (ISBN 978-1633437166) učí čtenáře naprogramovat velký jazykový model od základu, bez použití existujících LLM knihoven. Postup vede od návrhu a vytvoření architektury modelu přes předtrénování na obecném textovém korpusu až po fine-tuning – nejprve na textový klasifikátor a poté na chatbota schopného následovat konverzační instrukce. Vzniklý model lze podle autora natrénovat i na běžném notebooku. Doprovodný kód je open source a je volně dostupný v repozitáři rasbt/LLMs-from-scratch na GitHubu jako oficiální kódová příloha ke knize. Kniha je určena vývojářům se středně pokročilou znalostí Pythonu a základními znalostmi strojového učení, kteří chtějí pochopit vnitřní fungování GPT-style modelů prakticky, ne jen teoreticky. Jde o placený titul dostupný na Amazonu v tištěné i elektronické podobě, přičemž nákup tištěné knihy zahrnuje bezplatnou e-knihu ve formátech PDF a ePub od Manning Publications. Konkrétní prodejní cenu na Amazonu se z dostupných podkladů nepodařilo ověřit, jedná se však jednoznačně o placený produkt, nikoli o hostovaný AI nástroj s API.

Klíčové vlastnosti

• Postup od architektury modelu po předtrénování na textovém korpusu
• Fine-tuning na textový klasifikátor
• Fine-tuning na chatbota následujícího instrukce
• Model lze natrénovat i na běžném notebooku
• Doprovodný open-source kód na GitHubu
• Bez použití existujících LLM knihoven

Časté dotazy

Kategorie