AgentsProof
SDK pro vývojáře AI agentů, který ověřuje, že agent skutečně funguje – generuje veřejný odkaz na eval report se skóre v 5 kategoriích (splnění cíle, přesnost nástrojů, efektivita, kvalita výstupu, bezpečnost).
O nástroji
AgentsProof řeší problém, kdy po úpravě promptu nebo logiky agenta nevíte, jestli jste něco nerozbili, dokud na to nenarazí uživatel. Stačí obalit volání LLM a nástrojů funkcí run.trace() (npm install agentsproof), definovat cíl běhu a nástroj vygeneruje sdílitelný veřejný report (např. agentsproof.dev/r/abc123) se skóre na škále 0–100 v pěti osách: goal completion, tool accuracy, step efficiency, output quality a safety. Kromě skóre umožňuje psát vlastní „grader“ pravidla v přirozeném jazyce (např. že agent nesmí prozradit PII), ukládat povedené běhy jako tzv. Goldeny s kritérii úspěchu a trace assertions (deterministické kontroly typu „nesmí zavolat send_email“ nebo „max 10 kroků“), automaticky generovat syntetické varianty testů z Goldenů a spouštět celé sady schválených testů (Proof Suites) jedním voláním API. Integruje se s OpenAI, Anthropic, LangChain, CrewAI, Vercel AI SDK a LlamaIndex, k dispozici jsou SDK pro TypeScript i Python. Nástroj je v beta verzi a cílí hlavně na menší týmy a samostatné vývojáře agentů. Free plán zahrnuje 1 projekt, 200 běhů měsíčně, 10 golden testů a veřejné reporty zdarma bez nutnosti platební karty; placený Pro plán za 29 $/měsíc (nebo 290 $/rok) přidává neomezené projekty, 10 000 běhů měsíčně, neomezené gradery, goldeny a privátní reporty. Rozhraní i dokumentace jsou pouze v angličtině.
Klíčové vlastnosti
- Veřejný sdílitelný report se skóre v 5 kategoriích
- Vlastní grader pravidla v přirozeném jazyce
- Goldeny – uložené povedené běhy jako testy
- Deterministické trace assertions (např. max 10 kroků)
Časté dotazy
Co přesně AgentsProof dělá?
Obalíte volání LLM a nástrojů funkcí run.trace() a nástroj vygeneruje veřejný odkaz na eval report se skóre 0–100 v pěti osách: splnění cíle, přesnost nástrojů, efektivita, kvalita výstupu a bezpečnost. Navíc umí hlídat vlastní pravidla a spouštět celé sady schválených testů jedním API voláním.
Kolik AgentsProof stojí?
Free plán zahrnuje 1 projekt, 200 běhů měsíčně, 10 golden testů a veřejné reporty zdarma bez karty. Pro plán stojí 29 $/měsíc (nebo 290 $/rok) a přidává neomezené projekty, 10 000 běhů měsíčně a neomezené gradery i goldeny.
Pro koho je nástroj a jak začít?
Je určen hlavně menším týmům a samostatným vývojářům AI agentů. Stačí získat API klíč, nainstalovat balíček příkazem npm install agentsproof a obalit volání agenta funkcí run.trace().
Kategorie
AI novinky do e-mailu
Každý pátek 3 vybrané AI nástroje, prompt týdne a to nejdůležitější ze světa AI – přehledně, česky a bez balastu.
Jeden z nejstarších pravidelných českých AI newsletterů.
Podobné nástroje
Hledáte alternativu k AgentsProof? Tady je 6 podobných nástrojů z kategorie Vývojářské nástroje.
Vectorizer AI
FreemiumPřevádí rastrové obrázky PNG, JPG, GIF, BMP a WebP na vektorové formáty SVG, PDF, EPS a DXF pomo...
Stable Diffusion
FreemiumStability AI je platforma pro generování obrázků, videa a dalšího obsahu pomocí generativní AI,...
Whisper
ZdarmaPřevádí mluvenou řeč na text ve více než 90 jazycích. Whisper je open-source model od OpenAI tré...
AI 만화 번역기
Placeno kreditovým systémem – 1 kredit za model Manga/EagleEye, 2 kredity za model Ultra; konkrétní ceník neuveden.Online nástroj pro překlad textových bublin v manga a komiksových obrázcích pomocí AI – podporuj...
Pinecone
FreemiumPinecone je vektorová databáze jako služba, která umožňuje ukládat, spravovat a prohledávat vekt...
Escape
NeuvedenoEscape je AI-powered platforma pro ofenzivní bezpečnost, která automatizuje discovery, pentestin...
Další nástroje v kategorii Vývojářské nástroje
Nezůstávejte jen u nejoblíbenějších – tohle jsou další nástroje z kategorie Vývojářské nástroje, které stojí za prohlédnutí.
