LLM Fuzz CI

ZdarmaVývojářské nástroje

GitHub Action pro vývojáře, která nechá AI agenta (Codex nebo Claude Code) vymýšlet útočné vstupy proti vašim testům (pytest/vitest) a do výstupu se dostanou jen ty, které test skutečně shodí.

O nástroji

LLM Fuzz CI je nástroj pro programátory, kteří chtějí automaticky testovat okrajové a bezpečnostní případy u svých funkcí bez zahlcování reportem falešných pozitiv. Programátor označí test dekorátorem (v Pythonu @pytest.mark.llm_fuzz nebo ve vitest fuzzTest), nastaví limit útraty za LLM volání (budget_usd) a případně omezí, které vstupní parametry smí agent měnit. V CI pak běží dvě fáze na oddělených strojích: na prvním agent čte kód a zkouší najít vstup, který test rozbije, na druhém čistém runneru se tento vstup jen přehraje standardním testovacím behem – takže každý nahlášený bug je reálné porušení existující assertion, ne výmysl modelu. Nástroj je postavený jako doplněk klasického fuzzingu pro vyšší úroveň abstrakce: na rozdíl od bitového mutování vstupů klasických fuzzerů agent rozumí významu kódu a testu, takže dokáže cílit na logické chyby a kombinace parametrů, které náhodný generátor nikdy nenajde. Autoři ho odlišují i od bezpečnostních skenerů (žádné záplavy CVE hlášení) a od nástrojů na review PR (žádný šum) – jde čistě o vynucování garancí, které si programátor sám definoval v testech. Zmíněný reálný příklad použití je odhalení chyby v přístupových právech účetního AI agenta přes prompt injection na účet jiného uživatele. Integrace podporuje Python/pytest a JavaScript/vitest, výchozí agent je Codex (přes OpenAI nebo OpenRouter klíč), alternativně Claude Code. Výstupem běhu je shrnutí, artefakt se vstupy a stopou agenta, volitelně i GitHub issue nebo shození buildu. Nástroj je open-source a dokumentace je v README na GitHubu; stránka i veškerý obsah jsou pouze v angličtině.

Klíčové vlastnosti

Dekorátor @pytest.mark.llm_fuzz nebo fuzzTest pro vitest
Limit útraty za LLM volání přes budget_usd
Omezení vstupních parametrů, které smí agent měnit
Dvoufázový běh: generování vstupu a ověření na čistém runneru

Časté dotazy

Co přesně LLM Fuzz CI dělá?

Je to GitHub Action, kde AI agent (Codex nebo Claude Code) čte váš kód a testy označené jako cíl a snaží se vymyslet vstup, který test shodí; nalezený vstup se pak přehraje na čistém runneru standardním test behem, takže nahlášený bug je vždy reálné porušení existující assertion.

Kolik to stojí?

Samotný nástroj je open-source a zdarma, platíte jen za volání LLM (Codex přes OpenAI/OpenRouter klíč nebo Claude Code) podle limitu, který si nastavíte přes budget_usd u každého testu.

Pro koho je nástroj určený a jak začít?

Je určený pro vývojáře používající pytest (Python) nebo vitest (JavaScript), kteří chtějí automaticky testovat okrajové a bezpečnostní případy u svých funkcí; stačí označit test dekorátorem, nastavit budget_usd a přidat GitHub Action podle návodu v README na GitHubu.

Kategorie

Vývojářské nástroje

AI novinky do e-mailu

Každý pátek 3 vybrané AI nástroje, prompt týdne a to nejdůležitější ze světa AI – přehledně, česky a bez balastu.

Jeden z nejstarších pravidelných českých AI newsletterů.

Podobné nástroje

Hledáte alternativu k LLM Fuzz CI? Tady je 6 podobných nástrojů z kategorie Vývojářské nástroje.

Vectorizer AI

Freemium

Převádí rastrové obrázky PNG, JPG, GIF, BMP a WebP na vektorové formáty SVG, PDF, EPS a DXF pomo...

Otevřít detail99 %

Stable Diffusion

Freemium

Stability AI je platforma pro generování obrázků, videa a dalšího obsahu pomocí generativní AI,...

API

Otevřít detail99 %

Whisper

Zdarma

Převádí mluvenou řeč na text ve více než 90 jazycích. Whisper je open-source model od OpenAI tré...

API

Otevřít detail99 %

AI 만화 번역기

Placeno kreditovým systémem – 1 kredit za model Manga/EagleEye, 2 kredity za model Ultra; konkrétní ceník neuveden.

Online nástroj pro překlad textových bublin v manga a komiksových obrázcích pomocí AI – podporuj...

Otevřít detail99 %

Pinecone

Freemium

Pinecone je vektorová databáze jako služba, která umožňuje ukládat, spravovat a prohledávat vekt...

Otevřít detail99 %

Escape

Neuvedeno

Escape je AI-powered platforma pro ofenzivní bezpečnost, která automatizuje discovery, pentestin...

Otevřít detail99 %

Zobrazit všechny alternativy v kategorii Vývojářské nástroje

Další nástroje v kategorii Vývojářské nástroje

Nezůstávejte jen u nejoblíbenějších – tohle jsou další nástroje z kategorie Vývojářské nástroje, které stojí za prohlédnutí.