AppAgent

O nástroji

AppAgent je multimodální agent postavený na velkých jazykových modelech, který ovládá smartphone aplikace pomocí zjednodušeného prostoru akcí – tapáním a swipováním – bez nutnosti přístupu k backendu aplikací. Díky tomu funguje napříč nejrůznějšími aplikacemi, aniž by vyžadoval jejich úpravu či speciální integraci. Agent pracuje ve dvou fázích: v exploration fázi se autonomně učí ovládat aplikaci nebo sleduje lidské demonstrace a vytváří si znalostní dokument o rozhraní; v deployment fázi pak tento dokument využívá k plnění vysokoúrovňových úkolů. Autoři jej otestovali na 50 úkolech napříč 10 aplikacemi včetně sociálních sítí, e-mailu, map, nákupů a nástrojů pro úpravu obrázků (např. Lightroom), a projekt byl publikován na konferenci CHI 2025. Jde o výzkumný projekt týmu z Tencentu s veřejně dostupným kódem na GitHubu a demo ukázkami (např. ovládání Gmailu a X). Konkrétní informace o ceně nebo komerční dostupnosti nejsou v dostupných materiálech uvedeny.

Klíčové vlastnosti

• Ovládá aplikace tapáním a swipováním bez přístupu k backendu
• Učí se autonomním průzkumem nebo sledováním lidských demonstrací
• Vytváří znalostní dokument o rozhraní aplikace
• Funguje napříč různými typy aplikací (sociální sítě, e-mail, mapy, nákupy, editace obrázků)
• Zvládá procházet CAPTCHA a ovládat prvky mimo standardní rozložení pomocí mřížky

Časté dotazy

Kategorie

Další nástroje v kategorii Produktivita

Nezůstávejte jen u nejoblíbenějších – tohle jsou další nástroje z kategorie Produktivita, které stojí za prohlédnutí.

• 
  Ask Steve

  Freemium
  1 %
• 
  AstrBot

  „“
  40 %
• 
  Atua

  Placené
  65 %
• 
  Autopilots by Athena AI

  Freemium
  1 %
• 
  awesome-ai-apps

  Freemium
  45 %