data-juicer

O nástroji

Data-Juicer je jednotný multimodální systém pro zpracování dat, jehož cílem je vytvořit kvalitnější, bohatší a lépe zpracovatelná data pro velké jazykové modely. Je určen vývojářům LLM a multimodálních modelů i výzkumníkům, kteří připravují data pro pre-training a fine-tuning. Nástroj obsahuje jemně granulovanou abstrakci pipeline pro tvorbu datových receptů s více než 50 vestavěnými operátory, které lze snadno skládat a rozšiřovat. Díky vizualizaci a auto-evaluačním schopnostem umožňuje včasnou zpětnou vazbu při pre-trainingu i fine-tuningu a je integrován s ekosystémy jako Megatron-LM, HELM, Ray, Beam a knihovnou Huggingface-datasets. Mezi nedávná vylepšení patří podpora OpenAI Responses API, aktualizovaný Docker image (CUDA 12.6.3, Ubuntu 24.04, Python 3.11), vylepšená Ray deduplikace a S3 loading. Data-Juicer podporuje vyhledávání operátorů pomocí BM25/regex a nabízí rozšířený MCP server se čtyřmi nástroji pro vyhledávání operátorů, analýzu datasetů, získávání schémat konfigurace a strategie načítání dat. Je vydán pod licencí Apache License 2.0 a je k dispozici zdarma.

Kategorie