midscene
Open-source nástroj pro automatizaci a testování UI pomocí AI, kde se testy píšou přirozeným jazykem místo selektorů.
O nástroji
Midscene.js je open-source knihovna pro vizuálně řízenou automatizaci uživatelských rozhraní. Testy se píšou v přirozeném jazyce a nástroj díky vision modelům dokáže lokalizovat prvky i tam, kde selhávají klasické selektory – například na canvasu, v nativních aplikacích nebo cross-origin framech. Podporuje web (integrace s Playwright, Puppeteer nebo přes Bridge Mode napřímo v Chrome), desktop (macOS, Windows, Linux) i mobilní platformy (Android, iOS, HarmonyOS) na reálných zařízeních i simulátorech. Nástroj nabízí bohaté API pro skriptování testů, včetně automatického plánování celých toků i atomických příkazů jako aiTap, aiAssert nebo aiLocate. Umožňuje kombinovat více modelů (plánovací + vizuální) pro vyšší úspěšnost dokončení úkolů a lze použít vlastní modely, včetně open-source variant jako Doubao Seed, Qwen nebo Gemini. Testy lze psát i ve formátu YAML a integrovat je do existujících test runnerů. Projekt má na GitHubu přes 14 tisíc hvězdiček a v benchmarku AndroidWorld dosahuje skóre Pass@1 93,1 % a Pass@3 97,4 %. Mezi uživateli jsou podle webu firmy jako ByteDance, TikTok, Lark, Alibaba, Ctrip nebo Xiaomi. Dokumentace i uživatelské rozhraní jsou v angličtině, případně ve zjednodušené čínštině.
Klíčové vlastnosti
- Testy v přirozeném jazyce místo selektorů
- Lokalizace prvků pomocí vision modelů i na canvasu
- Podpora webu, desktopu i mobilních platforem
- Integrace s Playwright, Puppeteer nebo Bridge Mode
- Atomické příkazy jako aiTap, aiAssert, aiLocate
- Testy lze psát ve formátu YAML
Časté dotazy
Co přesně Midscene.js umí?
Automatizuje a testuje uživatelská rozhraní na základě příkazů v přirozeném jazyce – díky vision modelům najde prvky i tam, kde selhávají klasické selektory, například na canvasu, v nativních aplikacích nebo v cross-origin framech. Funguje na webu, desktopu (macOS, Windows, Linux) i mobilu (Android, iOS, HarmonyOS).
Kolik Midscene.js stojí?
Jde o open-source nástroj dostupný zdarma na GitHubu; ceny se týkají pouze vámi zvolených AI modelů (např. Doubao Seed, Qwen nebo Gemini), které si k nástroji připojíte.
Pro koho je Midscene.js vhodný a jak začít?
Je určen vývojářům a testerům, kteří chtějí automatizovat UI testy bez ruční údržby selektorů – stačí napsat testovací scénář v přirozeném jazyce a integrovat ho do Playwright, Puppeteer nebo vlastního test runneru. Používají ho i firmy jako ByteDance, TikTok, Alibaba nebo Xiaomi.
Kategorie
AI novinky do e-mailu
Každý pátek 3 vybrané AI nástroje, prompt týdne a to nejdůležitější ze světa AI – přehledně, česky a bez balastu.
Jeden z nejstarších pravidelných českých AI newsletterů.
Podobné nástroje
Hledáte alternativu k midscene? Tady je 6 podobných nástrojů z kategorie Asistent kódování.
Codeium
FreemiumSpravuje flotily lokálních i cloudových AI agentů přímo z editoru.
Replit
FreemiumReplit je cloudové vývojové prostředí, které umožňuje psát, spouštět a nasazovat aplikace a weby...
BlackBox AI
FreemiumBlackBox AI je vývojářská platforma, která poskytuje inference API, CLI nástroj, cloudové agenty...
CodeGeeX
ZdarmaCodeGeeX je AI asistent pro programování, který na základě textového dotazu generuje spustitelný...
Safurai
FreemiumSafurai je AI asistent pro vývojáře ve formě IDE rozšíření, který pomáhá psát, debugovat, refakt...
SourceAI
PlacenéAkinciborg je služba etického hackingu a penetračního testování webových aplikací, API a cloudov...
Další nástroje v kategorii Asistent kódování
Nezůstávejte jen u nejoblíbenějších – tohle jsou další nástroje z kategorie Asistent kódování, které stojí za prohlédnutí.
