ollama-benchmark

O nástroji

Ollama Benchmark (balíček „llm-benchmark“) je open-source nástroj s licencí MIT, který měří throughput výkon lokálních velkých jazykových modelů spuštěných přes Ollama. Umožňuje porovnávat výsledky napříč různými hardwarovými konfiguracemi (Apple Silicon, NVIDIA GPU, různé CPU sestavy) a variantami modelů, přičemž hlavní sledovanou metrikou je eval rate v tokenech za sekundu. Nástroj se instaluje příkazem „pip install llm-benchmark“ nebo „pipx install llm-benchmark“ a spouští se jediným příkazem „llm_benchmark run“. Je testován na Pythonu 3.9+ a vyžaduje funkční instalaci Ollama. Podporuje macOS, Linux i Windows, automaticky detekuje velikost RAM a podle ní stáhne odpovídající LLM model, a nabízí i variantu bez odesílání dat pomocí přepínače „--no-sendinfo“. Výsledky benchmarků se standardně automaticky odesílají do komunitní databáze s reálnými výsledky z hardwaru uživatelů, kde je možné porovnávat výkon různých modelů a sestav. Zdrojový kód je k dispozici na GitHubu (aidatatools/ollama-benchmark), placené API ani předplatné nástroj nenabízí.

Klíčové vlastnosti

• Měření eval rate v tokenech za sekundu
• Porovnání výkonu napříč hardwarovými konfiguracemi
• Automatická detekce RAM a výběr vhodného modelu
• Odesílání výsledků do komunitní databáze
• Možnost vypnout odesílání dat přepínačem --no-sendinfo
• Instalace přes pip nebo pipx, spuštění jedním příkazem

Časté dotazy

Kategorie