Jevman
Jevman je open-source benchmark, kde šest AI modelů hraje Pac-Mana proti klasickým duchům a výsledky porovnává v žebříčku.
O nástroji
Jevman nechává AI rozhodovací modely hrát Pac-Mana proti klasickým skriptovaným duchům. Šest modelů (mimo jiné jev 1.13, kev, clef, clef flash, GPT-6 Luna a Laya) odehrálo 100 her, na každé křižovatce dostane model stav bludiště jako JSON a musí do 2 sekund vrátit směr pohybu, případně s pravděpodobnostmi pro jednotlivé směry. Pokud model odpověď nestihne, nahradí ji jednoduché záložní pravidlo a pohyb se počítá jako „backup move“. Hra končí po třech ztracených životech nebo po 5 minutách, žebříček se řadí podle průměrného skóre s 95% intervalem spolehlivosti, takže modely v rozmezí chyby jsou označeny jako remíza a každou hru lze zpětně přehrát a ověřit. Nástroj je open source (repozitář opper-ai/jevman-benchmark, licence AGPL-3.0) a umožňuje přidat vlastní model: stačí ho zprovoznit za libovolným HTTP endpointem (hostovaný model, fine-tune nebo model běžící na laptopu), v repozitáři je k dispozici 34řádkový ukázkový endpoint pro start. Benchmark se pak spustí jedním příkazem podle pravidel žebříčku a výsledek se pošle jako pull request – CI hru přehraje, ověří skóre a model se zařadí do žebříčku jako self-reported. Na stránce lze kromě sledování žebříčku a záznamů odehraných her také přímo sledovat AI hrát v reálném čase, nebo si proti AI modelu zahrát Pac-Mana sám, případně nechat proti sobě hrát AI vs. AI. Jevman provozuje společnost Opper AI, samotný benchmark je zdarma a nevyžaduje přihlášení; informace o ceně provozu jednotlivých modelů v žebříčku (např. placené API jiných poskytovatelů) v textu uvedeny nejsou.
Klíčové vlastnosti
- Šest AI modelů hraje 100 her Pac-Mana proti duchům
- Žebříček podle průměrného skóre s 95% intervalem spolehlivosti
- Záznam a zpětné přehrání každé odehrané hry
- Možnost sledovat AI naživo nebo si zahrát proti ní
Časté dotazy
Co přesně Jevman dělá?
Nechává šest AI rozhodovacích modelů hrát Pac-Mana proti klasickým skriptovaným duchům, každý odehraje 100 her, a výsledky řadí do žebříčku podle průměrného skóre s 95% intervalem spolehlivosti.
Kolik Jevman stojí?
Benchmark i sledování žebříčku, záznamů her či hraní proti AI je zdarma a nevyžaduje přihlášení.
Jak mohu přidat vlastní model do žebříčku?
Stačí model zprovoznit za HTTP endpointem (hostovaný, fine-tune nebo lokální), spustit benchmark jedním příkazem podle pravidel a výsledek poslat jako pull request, který CI ověří a zařadí model do žebříčku jako self-reported.
Kategorie
AI novinky do e-mailu
Každý pátek 3 vybrané AI nástroje, prompt týdne a to nejdůležitější ze světa AI – přehledně, česky a bez balastu.
Jeden z nejstarších pravidelných českých AI newsletterů.
Podobné nástroje
Hledáte alternativu k Jevman? Tady je 6 podobných nástrojů z kategorie Experimenty.
StarByFace
ZdarmaPorovnává tvář z fotografie s databází celebrit a hledá vizuálního dvojníka pomocí neuronové sít...
AlphaDev
NeuvedenoAlphaDev je systém umělé inteligence od Google DeepMind, který objevuje rychlejší třídící algori...
Roboweb
ZdarmaRoboweb je AI asistent pro JupyterLab, který integruje OpenAI ChatGPT přímo do prostředí pro exp...
Synthace
Cena na vyžádáníSynthace je platforma pro vědecké laboratoře, která umožňuje navrhovat, automatizovat a spouštět...
Infinite Drum
ZdarmaInfinite Drum Machine je webový nástroj, který generuje bicí rytmy ze zvuků každodenního světa p...
DraGan
ZdarmaDragGAN je výzkumný nástroj pro interaktivní manipulaci s GAN-generovanými obrazy přetahováním b...
Další nástroje v kategorii Experimenty
Nezůstávejte jen u nejoblíbenějších – tohle jsou další nástroje z kategorie Experimenty, které stojí za prohlédnutí.
