llama-gpt

O nástroji

LlamaGPT je soukromý AI chatbot poháněný modelem Nous Hermes Llama 2 7B, doladěným na více než 300 000 instrukcí pro delší a přesnější odpovědi s nižší mírou halucinací. Kromě výchozího modelu podporuje i varianty 13B, 70B a Code Llama. Nástroj je určen především pro uživatele umbrelOS, kde se instaluje jedním kliknutím přes Umbrel App Store, ale spustit jej lze na jakémkoliv x86 nebo arm64 systému s Dockerem, včetně podpory Nvidia GPU (CUDA) a Kubernetes. Provoz vyžaduje přibližně 5 GB RAM a stažení asi 5,5 GB dat, přičemž pro plynulejší chod je doporučeno alespoň 8 GB RAM – na Raspberry Pi 4 se 4 GB RAM nástroj nefunguje. Výkonově dosahuje na Umbrel Home zhruba 3 slova za sekundu, na Raspberry Pi 4 s 8 GB RAM přibližně 1 slovo za sekundu. Díky implementaci llama-cpp-python nabízí i drop-in náhradu OpenAI API dostupnou na localhost:3001 s vlastní dokumentací. Jde o open-source projekt zveřejněný na GitHubu pod licencí MIT (getumbrel/llama-gpt), oficiálně vyvíjený týmem Umbrel. Aplikace je zcela zdarma.

Klíčové vlastnosti

• Běží lokálně offline bez přenosu dat do cloudu
• Poháněno modelem Nous Hermes Llama 2 7B
• Podpora variant 13B, 70B a Code Llama
• Instalace jedním kliknutím v Umbrel App Store
• Drop-in náhrada OpenAI API na localhost:3001
• Podpora Nvidia GPU (CUDA) a Kubernetes

Časté dotazy

Kategorie