opencompass

O nástroji

OpenCompass je open-source platforma zaměřená na evaluaci velkých jazykových a multimodálních modelů (LLM/AGI). Slouží jako jednotné místo pro konfiguraci, inferenci, evaluaci a vizualizaci výsledků testování modelů, s cílem poskytnout spravedlivý, otevřený a reprodukovatelný benchmark. Je určen především výzkumníkům a vývojářům LLM a multimodálních modelů, kteří chtějí porovnávat výkon modelů prostřednictvím veřejného leaderboardu. Nástroj podporuje přednastavené hodnocení pro více než 20 modelů z HuggingFace a API, a nabízí evaluační schéma s více než 70 datasety obsahujícími zhruba 400 000 otázek, což umožňuje komplexní hodnocení schopností modelů v pěti dimenzích. Díky efektivní distribuované evaluaci lze pomocí jednoho příkazu rozdělit úlohy a dokončit plné hodnocení modelů v řádu miliard parametrů během několika hodin. Platforma má modulární design s vysokou rozšiřitelností – umožňuje snadno přidávat nové modely či datasety a vytvářet vlastní strategie dělení úloh. Podporuje evaluační paradigmata typu zero-shot, few-shot i chain-of-thought, včetně standardních i dialogových šablon promptů, a obsahuje mechanismus pro správu experimentů a reportování výsledků pomocí konfiguračních souborů.

Klíčové vlastnosti

• Podporuje přes 20 modelů z HuggingFace a API
• Více než 70 datasetů s ~400 000 otázkami
• Hodnocení v pěti dimenzích schopností modelů
• Distribuovaná evaluace jedním příkazem
• Podpora zero-shot, few-shot i chain-of-thought paradigmat
• Modulární design pro snadné přidávání modelů a datasetů

Časté dotazy

Kategorie

Další nástroje v kategorii Vývojářské nástroje

Nezůstávejte jen u nejoblíbenějších – tohle jsou další nástroje z kategorie Vývojářské nástroje, které stojí za prohlédnutí.

• 
  opendataloader-pdf

  Zdarma
  40 %
• 
  openfang

  Neuvedeno
  35 %
• 
  OpenGuider

  Neuvedeno
  32 %
• 
  OpenHands

  Neuvedeno
  32 %
• 
  openilink-hub

  Neuvedeno
  40 %