AppAgent

O nástroji

AppAgent je multimodální agent postavený na velkých jazykových modelech, který ovládá smartphone aplikace pomocí zjednodušeného prostoru akcí – tapáním a swipováním – bez nutnosti přístupu k backendu aplikací. Díky tomu funguje napříč nejrůznějšími aplikacemi, aniž by vyžadoval jejich úpravu či speciální integraci. Agent pracuje ve dvou fázích: v exploration fázi se autonomně učí ovládat aplikaci nebo sleduje lidské demonstrace a vytváří si znalostní dokument o rozhraní; v deployment fázi pak tento dokument využívá k plnění vysokoúrovňových úkolů. Autoři jej otestovali na 50 úkolech napříč 10 aplikacemi včetně sociálních sítí, e-mailu, map, nákupů a nástrojů pro úpravu obrázků (např. Lightroom), a projekt byl publikován na konferenci CHI 2025. Jde o výzkumný projekt týmu z Tencentu s veřejně dostupným kódem na GitHubu a demo ukázkami (např. ovládání Gmailu a X). Konkrétní informace o ceně nebo komerční dostupnosti nejsou v dostupných materiálech uvedeny.

Kategorie