midscene

O nástroji

Midscene.js je open-source knihovna pro vizuálně řízenou automatizaci uživatelských rozhraní. Testy se píšou v přirozeném jazyce a nástroj díky vision modelům dokáže lokalizovat prvky i tam, kde selhávají klasické selektory – například na canvasu, v nativních aplikacích nebo cross-origin framech. Podporuje web (integrace s Playwright, Puppeteer nebo přes Bridge Mode napřímo v Chrome), desktop (macOS, Windows, Linux) i mobilní platformy (Android, iOS, HarmonyOS) na reálných zařízeních i simulátorech. Nástroj nabízí bohaté API pro skriptování testů, včetně automatického plánování celých toků i atomických příkazů jako aiTap, aiAssert nebo aiLocate. Umožňuje kombinovat více modelů (plánovací + vizuální) pro vyšší úspěšnost dokončení úkolů a lze použít vlastní modely, včetně open-source variant jako Doubao Seed, Qwen nebo Gemini. Testy lze psát i ve formátu YAML a integrovat je do existujících test runnerů. Projekt má na GitHubu přes 14 tisíc hvězdiček a v benchmarku AndroidWorld dosahuje skóre Pass@1 93,1 % a Pass@3 97,4 %. Mezi uživateli jsou podle webu firmy jako ByteDance, TikTok, Lark, Alibaba, Ctrip nebo Xiaomi. Dokumentace i uživatelské rozhraní jsou v angličtině, případně ve zjednodušené čínštině.

Kategorie