PaddleNLP

O nástroji

PaddleNLP je open source vývojová sada pro velké jazykové modely (LLM) postavená na frameworku PaddlePaddle. Podporuje efektivní trénování na různém hardwaru (GPU, XPU, NPU, GCU, DCU), bezztrátovou kompresi modelů a vysoce výkonnou inferenci. Nabízí přes 500 předtrénovaných modelů a 45 síťových architektur, včetně podpory moderních modelů jako Qwen3 nebo DeepSeek V3/R1 s kvantizovanou inferencí (FP8/INT8/4-bit). Vývojářům je k dispozici sada API pro práci s daty a modely — Dataset API pro čínské datasety, Data API pro předzpracování, Embedding API s více než 60 předtrénovanými vektory slov a Transformer API se stovkou předtrénovaných modelů. Instalace probíhá přes pip (vyžaduje Python 3.8+ a paddlepaddle 3.0.0b0+), k dispozici je i pohodlné Auto API pro rychlé načítání modelů a tokenizerů. Nástroj je vydáván pod licencí Apache-2.0 a jeho zdrojový kód je veřejně dostupný na GitHubu. Jelikož jde o open source projekt, jeho používání je zdarma bez licenčních poplatků, čínská uživatelská dokumentace je dostupná i s anglickou variantou webu.

Klíčové vlastnosti

• Trénování LLM na GPU, XPU, NPU, GCU i DCU
• Přes 500 předtrénovaných modelů a 45 architektur
• Kvantizovaná inference FP8/INT8/4-bit pro Qwen3, DeepSeek V3/R1
• Bezztrátová komprese modelů a rychlejší checkpointy
• Embedding API s více než 60 vektory slov
• Transformer API se stovkou předtrénovaných modelů

Časté dotazy

Kategorie