modular

O nástroji

Modular Platform je nástroj pro urychlení AI inference a abstrakci hardwarové komplexity. Umožňuje pomocí Docker kontejneru nasadit GenAI model z Hugging Face s OpenAI-kompatibilním endpointem na širokou škálu hardwaru (NVIDIA, AMD, Apple GPU). Platforma zahrnuje high-performance serving framework, podporu 1000+ modelů (například DeepSeek a Kimi) a možnost psát nebo upravovat vlastní GPU kernely pomocí jazyka Mojo. Součástí nabídky je cloudové nasazení pomocí sdílených nebo dedikovaných endpointů hostovaných v Modular cloudu nebo ve vlastním VPC. Vývojářům jsou k dispozici výukové materiály jako Agentic Cookbook s hotovými aplikacemi, GPU Puzzles pro praktické učení GPU programování a návod na sestavení LLM od základu pomocí MAX. Modular nabízí fully-managed nasazení pro nejnovější open source modely ve své Model Library nebo možnost self-hosted endpointu s libovolným kompatibilním modelem. Nástroj je zaměřen na vývojáře a technické týmy pracující s GPU programováním a nasazením velkých jazykových modelů. Dokumentace zmiňuje otevřený zdrojový kód (open source) u některých komponent, konkrétní informace o cenách však v dostupném textu chybí.

Kategorie