Parsimony

O nástroji

Parsimony měří, kolik kódu AI modely přidávají při řešení programátorských úloh ze SWE-bench, a řadí modely podle průměrného počtu tzv. „coding units“ (syntaktických prvků jako příkazy, volání, porovnání, jména a literály) na vyřešenou úlohu, od nejmenšího po největší. Na rozdíl od běžných benchmarků, které sledují jen úspěšnost řešení (solve rate) a cenu, tento nástroj ukazuje, který model řeší úlohy s co nejmenším zásahem do kódu, což má vliv na dlouhodobou udržovatelnost výsledného projektu. Počítají se pouze syntaktické jednotky v Pythonu, řádky se nepočítají, testy, dokumentace a generované soubory se vynechávají a smazaný kód se odečítá od přidaného (čisté jednotky = přidané − odebrané). Nástroj nabízí srovnávací graf a žebříček modelů, kde lze zobrazit i externí skóre Artificial Analysis Intelligence Index pro doplňkové srovnání, které ale pořadí v žebříčku neovlivňuje. Uživatelé mohou nahrát vlastní benchmark ve formátu JSON (data zůstávají jen v prohlížeči) a získat pro svá data stejný typ grafu a tabulky. Autor sám upozorňuje na limity metody: nižší počet jednotek automaticky neznamená lepší čitelnost nebo design kódu a modely, které píšou více kódu, mívají tendenci řešit více úloh. Data a zdrojový kód jsou dostupné na GitHubu, stránka samotná je v angličtině.

Klíčové vlastnosti

• Řadí AI coding agenty podle množství přidaného kódu
• Počítá syntaktické jednotky (coding units), ne řádky
• Odečítá smazaný kód od přidaného (čisté jednotky)
• Srovnávací graf a žebříček modelů s možností nahrát vlastní benchmark

Časté dotazy

Kategorie

Další nástroje v kategorii Asistent kódování

Nezůstávejte jen u nejoblíbenějších – tohle jsou další nástroje z kategorie Asistent kódování, které stojí za prohlédnutí.

• 
  Phind

  Freemium
  90 %
• 
  pilot

  Neuvedeno
  45 %
• 
  pilot-shell

  Placené
  35 %
• 
  pipecat

  Zdarma
  37 %
• 
  Pixels2Flutter

  Freemium
  1 %