dvc

O nástroji

DVC je open-source nástroj pro verzování dat a ML modelů, který doplňuje Git o schopnost sledovat verze velkých datasetů, parametrů, metrik a experimentů. Samotná data nejsou uložena v Gitu – DVC k nim vytváří metafiles (dvc.yaml a .dvc soubory), které slouží jako odkazy na skutečný obsah uložený v cache mimo repozitář. Jako úložiště lze použít libovolný cloud (např. S3, Google Cloud Storage) nebo SSH server, bez nutnosti provozovat databázi či vlastní server. Funkce nástroje se dělí do tří oblastí: správa dat, tvorba a spouštění datových pipeline a sledování experimentů. K dispozici je jako rozšíření pro VS Code, CLI nástroj a Python API (dvc.api) – nejde o síťovou službu, DVC neposkytuje REST API. Instalace je rychlá a nástroj funguje bez závislosti na externích platformách. DVC je zcela zdarma, jde o svobodný open-source projekt vydaný pod licencí Apache 2.0. Je určen především datovým vědcům, ML inženýrům a týmům, které potřebují reprodukovatelné experimenty a verzování velkých datových souborů společně s kódem v Gitu.

Klíčové vlastnosti

• Verzování velkých datasetů a ML modelů mimo Git
• Tvorba a spouštění datových pipeline
• Sledování a porovnávání experimentů
• Ukládání dat v cloudu (S3, GCS, SSH) bez databáze
• CLI nástroj a rozšíření pro VS Code
• Python API (dvc.api) pro přístup k datům

Časté dotazy

Kategorie