cog

O nástroji

Cog umožňuje vývojářům strojového učení zabalit své modely do standardizovaného, produkčně připraveného Docker kontejneru pomocí jednoduchého konfiguračního souboru cog.yaml. Nástroj automaticky generuje Docker image podle osvědčených postupů (Nvidia base images, efektivní cachování závislostí, správné verze Pythonu) a sám řeší kompatibilitu CUDA, cuDNN, PyTorch a TensorFlow, což eliminuje běžné problémy s konfigurací prostředí. Vstupy a výstupy modelu se definují standardním Pythonem pomocí knihovny cog (Input, Path), z čehož Cog automaticky vygeneruje OpenAPI schéma a validuje data. Součástí je i automatický HTTP inferenční server postavený na Rust/Axum, díky němuž lze model po sestavení spouštět jako RESTful API (např. příkazy cog run, cog build, cog serve) nebo nasadit na vlastní infrastrukturu či na platformu Replicate. Nástroj je open-source a je dostupný pro macOS, Linux a Windows 11 (přes WSL 2), instalace probíhá přes Homebrew nebo instalační skript, vyžaduje Docker. Autoři pocházejí ze Spotify a Docker (tvůrce Docker Compose) a projekt je vyvíjen jako otevřená alternativa k interním nástrojům pro nasazování ML modelů, které dříve vytvořily firmy jako Spotify nebo Uber.

Kategorie