Unsloth AI

O nástroji

Unsloth AI umožňuje trénovat a spouštět velké jazykové modely přímo na vlastním počítači (Mac i Windows) bez nutnosti psát kód. Aplikace Unsloth Studio běží 100% offline a podporuje formáty GGUF i Safetensors, tool-calling, webové vyhledávání a OpenAI-kompatibilní API. Modely lze porovnávat vedle sebe v režimu Model Arena a nahrávat obrázky, dokumenty, audio i kód. Pro trénování nabízí Unsloth vlastní optimalizované kernely podporující LoRA, FP8, FFT a přes 500 modelů včetně textových, vizuálních, audio a embedding modelů. Datasety lze automaticky vytvářet z PDF, CSV nebo JSON souborů pomocí grafického workflow Data Recipes. Fine-tuning probíhá s real-time sledováním průběhu. Open-source verze je dostupná zdarma a umožňuje fine-tuning až 2× rychleji na jediné NVIDIA GPU přes Google Colab nebo Kaggle Notebooks. Natrénované modely lze exportovat do formátů safetensors nebo GGUF pro použití s llama.cpp, vLLM, Ollama a dalšími nástroji.

Klíčové vlastnosti

• Lokální spouštění modelů (GGUF, Safetensors) 100% offline na Mac a Windows
• No-code fine-tuning s podporou LoRA, FP8, FFT a 500+ modelů
• Automatické vytváření datasetů z PDF, CSV a JSON dokumentů (Data Recipes)
• Porovnávání dvou modelů vedle sebe v režimu Model Arena
• Export modelů do safetensors nebo GGUF pro llama.cpp, vLLM a Ollama
• OpenAI-kompatibilní API, tool-calling a webové vyhledávání

Časté dotazy

Kategorie