hallucination-leaderboard

O nástroji

Hallucination Leaderboard je veřejný žebříček jazykových modelů, který sestavuje společnost Vectara pomocí vlastního hodnoticího modelu HHEM. Model dostane text článku a je instruován, aby jej shrnul, poté komerční HHEM vyhodnotí, do jaké míry generované shrnutí obsahuje halucinace. Skóre HHEM se pohybuje mezi 0 a 1, hodnota pod 0,5 se považuje za halucinaci; sledují se míra halucinací i tzv. „answer rate“, tedy procento článků, které byly řádně shrnuty. Aktuální verze žebříčku používá model HHEM-2.3 a je založena na rozsáhlejším datasetu s více než 7 700 články z oborů jako právo, medicína, finance, vzdělávání a technologie. Samotný dataset není veřejně dostupný, aby nedocházelo k přeučení modelů právě na něj. Otevřená varianta modelu HHEM-2.1-Open je k dispozici na Hugging Face a Kaggle, komerční verze modelu pak přes API. Nástroj je určen vývojářům, výzkumníkům a podnikům, kteří chtějí porovnat sklon různých LLM k halucinacím pro use-case typu RAG a Agentic RAG. Zdrojový kód žebříčku je dostupný na GitHubu (vectara/hallucination-leaderboard), interaktivní verze pak na Hugging Face. Vectara nabízí i navazující přístup FaithJudge, založený na principu LLM-as-a-judge.

Kategorie

Další nástroje v kategorii Vývojářské nástroje

Nezůstávejte jen u nejoblíbenějších — tohle jsou další nástroje z kategorie Vývojářské nástroje, které stojí za prohlédnutí.

• 
  Hands-On-Large-Language-Models

  Placené
  1 %
• 
  harness-sdk

  Zdarma
  1 %
• 
  haystack

  Freemium
  1 %
• 
  headroom

  „“
  1 %
• 
  Helicon

  Placené
  81 %