dalai

O nástroji

Dalai je NPM balíček od vývojáře cocktailpeanut, který nabízí nejjednodušší způsob, jak spustit LLaMA na lokálním počítači. Je poháněn projekty llama.cpp, llama-dl CDN a alpaca.cpp, přičemž standardně ukládá celý repozitář llama.cpp do složky ~/llama.cpp. Spouští se jednoduchými příkazy jako npx dalai llama nebo npx dalai alpaca install. Nástroj podporuje enginy llama a alpaca, přičemž model musí odpovídat jedné z variant 7B, 13B, 30B nebo 65B (alpaca zatím nabízí pouze model 7B). Pro provoz je potřeba Python ve verzi 3.10 nebo nižší a Node.js verze 18 a vyšší; volitelně lze nástroj spustit i přes Docker pomocí docker compose. K dispozici je node.js API i socket.io API pro připojení k lokálnímu nebo vzdálenému dalai serveru, existuje také neoficiální (dnes již deprecated) Python wrapper dalaipy. Dalai, LLaMA i Alpaca jsou zcela zdarma a celý projekt je open source, hostovaný na GitHubu pod účtem cocktailpeanut. Je určen především vývojářům a technicky zdatným nadšencům, kteří chtějí experimentovat s velkými jazykovými modely lokálně – běžný uživatel bez technických znalostí se v instalaci a konfiguraci může snadno ztratit.

Kategorie