opencompass

O nástroji

OpenCompass je open-source platforma zaměřená na evaluaci velkých jazykových a multimodálních modelů (LLM/AGI). Slouží jako jednotné místo pro konfiguraci, inferenci, evaluaci a vizualizaci výsledků testování modelů, s cílem poskytnout spravedlivý, otevřený a reprodukovatelný benchmark. Je určen především výzkumníkům a vývojářům LLM a multimodálních modelů, kteří chtějí porovnávat výkon modelů prostřednictvím veřejného leaderboardu. Nástroj podporuje přednastavené hodnocení pro více než 20 modelů z HuggingFace a API, a nabízí evaluační schéma s více než 70 datasety obsahujícími zhruba 400 000 otázek, což umožňuje komplexní hodnocení schopností modelů v pěti dimenzích. Díky efektivní distribuované evaluaci lze pomocí jednoho příkazu rozdělit úlohy a dokončit plné hodnocení modelů v řádu miliard parametrů během několika hodin. Platforma má modulární design s vysokou rozšiřitelností – umožňuje snadno přidávat nové modely či datasety a vytvářet vlastní strategie dělení úloh. Podporuje evaluační paradigmata typu zero-shot, few-shot i chain-of-thought, včetně standardních i dialogových šablon promptů, a obsahuje mechanismus pro správu experimentů a reportování výsledků pomocí konfiguračních souborů.

Kategorie