evalship

O nástroji

Evalship se hodí týmům, které mají v produktu AI/LLM volání testovaná pomocí evalů (pytest, Vitest, Jest, promptfoo, Langfuse, Braintrust, LangSmith, Inspect AI aj.) a chtějí mít jistotu, že tyto testy skutečně odhalí chyby. Při nastavení nechá kódovacího agenta projít scorery, judge modely a prompty a najde slabiny evalů – např. situace, kdy odpověď obsahující únik osobních dat přesto projde testem, protože soukromí tvoří jen zlomek celkového skóre. Pokud evaly chybí, nabídne vytvoření první sady 5–10 testovacích případů pro nejdůležitější AI volání. Dále sleduje produkční AI volání, upozorní na regresi (např. po úpravě promptu) nebo na vyřazený hodnoticí model, blokuje pull requesty, které poruší pravidlo, a po opravě je odblokuje. Výsledky evalů čte z formátů, které týmy už používají (JUnit XML, JSON), funguje bez nutnosti mít samostatnou eval platformu i vedle Langfuse, Braintrust nebo LangSmith. Testy běží v GitHub Actions nebo lokálně s vlastními API klíči, které evalship nevidí; podpora GitLab CI zatím chybí, podporováno je jen gitlab.com přes merge requesty. Ceny: plán Free zdarma (2 uživatelé, 5 000 událostí/měsíc, 10 000 produkčních volání/měsíc, historie evalů 30 dní), Pro za 29 $/měsíc (290 $/rok), Business za 99 $/měsíc (990 $/rok) s vyššími limity a prioritní podporou přes e-mail nebo sdílený Slack kanál. Placené plány mají 7denní zkušební dobu, nad rámec Business je cena na vyžádání u obchodního týmu.

Klíčové vlastnosti

• Kontrola kvality evalů a odhalení slabých testů
• Sledování produkční kvality AI volání
• Upozornění na regresi po změně promptu
• Blokování pull requestů při porušení pravidel

Časté dotazy

Kategorie

Další nástroje v kategorii Vývojářské nástroje

Nezůstávejte jen u nejoblíbenějších – tohle jsou další nástroje z kategorie Vývojářské nástroje, které stojí za prohlédnutí.

• 
  Everdone

  Freemium
  1 %
• 
  EverOS

  Freemium
  61 %
• 
  Evoke

  Placené
  76 %
• 
  EvolveDev

  Freemium
  1 %
• 
  excelize

  Zdarma
  59 %