ray

O nástroji

Ray je open source AI compute engine od Anyscale určený vývojářům, kteří potřebují distribuovat a škálovat Python kód, strojové učení a generativní AI úlohy od notebooku až po tisíce GPU. Nástroj je nativně napsaný v Pythonu a nabízí primitivy (tasks, actors, objects) pro tvorbu distribuovaných aplikací pomocí Ray Core, stejně jako vyšší vrstvu knihoven pro end-to-end AI řešení. Mezi podporované případy užití patří distribuovaný trénink modelů (včetně foundation modelů a XGBoost), nasazování a serving modelů (Ray Serve), batch inference kombinující CPU a GPU, reinforcement learning (Ray RLlib) a zpracování multimodálních dat jako obrázky, video či audio. Ray dále podporuje LLM inference i fine-tuning velkých jazykových modelů a byl použit i ve frameworku, na kterém stojí ChatGPT. Podle webu je nástroj možné vyzkoušet s kreditem 100 dolarů, konkrétní cenový model pro placené používání ale z dostupných informací nevyplývá.

Klíčové vlastnosti

• Škálování Python kódu z notebooku na tisíce GPU
• Distribuovaný trénink modelů včetně foundation modelů a XGBoost
• Nasazení a serving modelů přes Ray Serve
• Batch inference kombinující CPU a GPU v jedné pipeline
• Reinforcement learning pomocí Ray RLlib
• LLM inference i fine-tuning velkých jazykových modelů

Časté dotazy

Kategorie