data-juicer

O nástroji

Data-Juicer je jednotný multimodální systém pro zpracování dat, jehož cílem je vytvořit kvalitnější, bohatší a lépe zpracovatelná data pro velké jazykové modely. Je určen vývojářům LLM a multimodálních modelů i výzkumníkům, kteří připravují data pro pre-training a fine-tuning. Nástroj obsahuje jemně granulovanou abstrakci pipeline pro tvorbu datových receptů s více než 50 vestavěnými operátory, které lze snadno skládat a rozšiřovat. Díky vizualizaci a auto-evaluačním schopnostem umožňuje včasnou zpětnou vazbu při pre-trainingu i fine-tuningu a je integrován s ekosystémy jako Megatron-LM, HELM, Ray, Beam a knihovnou Huggingface-datasets. Mezi nedávná vylepšení patří podpora OpenAI Responses API, aktualizovaný Docker image (CUDA 12.6.3, Ubuntu 24.04, Python 3.11), vylepšená Ray deduplikace a S3 loading. Data-Juicer podporuje vyhledávání operátorů pomocí BM25/regex a nabízí rozšířený MCP server se čtyřmi nástroji pro vyhledávání operátorů, analýzu datasetů, získávání schémat konfigurace a strategie načítání dat. Je vydán pod licencí Apache License 2.0 a je k dispozici zdarma.

Klíčové vlastnosti

• Více než 50 vestavěných operátorů pro čištění dat
• Vyhledávání operátorů pomocí BM25 nebo regexu
• Vizualizace a auto-evaluace pro zpětnou vazbu při tréninku
• Integrace s Megatron-LM, HELM, Ray, Beam a Huggingface-datasets
• MCP server se čtyřmi nástroji pro analýzu datasetů
• Podpora Ray deduplikace a načítání dat z S3

Časté dotazy

Kategorie

Další nástroje v kategorii Vývojářské nástroje

Nezůstávejte jen u nejoblíbenějších – tohle jsou další nástroje z kategorie Vývojářské nástroje, které stojí za prohlédnutí.

• 
  databend

  Placené
  56 %
• 
  Datature

  Freemium
  91 %
• 
  daytona

  Freemium
  32 %
• 
  dbeaver

  Freemium
  45 %
• 
  Decepticon

  Placené tarify pro ostrý provoz nejsou zveřejněny, dostupné je pouze bezplatné demo
  35 %