Přeskočit na obsah
ejaj.cz

Semantic Overlays

Neuvedeno

Technika a interaktivní demo, které chrání jazykové modely před prompt injection: neviditelné "overlays" označí část textu jako "do not execute", takže model příkaz přečte, ale neuposlechne ho.

semantic-overlays.vercel.app
Náhled nástroje Semantic Overlays

O nástroji

Semantic Overlays řeší konkrétní problém: když se do textu, který LLM zpracovává (např. stažená webová stránka nebo výsledek nástroje), propašuje skrytý příkaz, model ho může omylem vykonat jako instrukci. Řešení funguje jako "NX bit" známý z procesorů – malé natrénované adaptéry nad zamrzlým jazykovým modelem označí vybraný úsek tokenů jako data, ne příkaz. Text zůstává pro model čitelný, ale ztrácí autoritu dávat pokyny. Na stránce je to ukázáno na živém příkladu s textem o fretkách, kde je do pasáže schovaná falešná zpráva o zrušení předplatného – s vypnutým overlay ji model vykoná, se zapnutým ji ignoruje. Stránka obsahuje čtyři interaktivní demo sekce, které lze přímo v prohlížeči spouštět a upravovat: ochranu proti prompt injection na textu o fretkách, "neviditelné zvýrazňovače" (highlight, underline, circle) na textu o lišce, kde model dokáže odpovědět, který úsek byl podtržený, aniž by v textu byly viditelné řídicí znaky nebo skryté tokeny; dále "obarvení" úryvků kódu podle programovacího jazyka (Python, JavaScript, Ruby, C) a sekci "Secret instructions", kde lze jeden z více dotazů označit skrytou instrukcí (např. odpovědět v němčině nebo velkými písmeny), aniž by to bylo v textu explicitně napsané. Nástroj je v angličtině a působí jako technická ukázka/demo konceptu spíše než hotový produkt s jasným byznys modelem – na stránce se objevuje jen izolovaná částka "1 $" bez dalšího kontextu, takže cenu ani způsob zpřístupnění nelze z dostupných informací spolehlivě určit.

AI novinky do e-mailu

Každý pátek 3 vybrané AI nástroje, prompt týdne a to nejdůležitější ze světa AI – přehledně, česky a bez balastu.

Jeden z nejstarších pravidelných českých AI newsletterů.

Jednou týdně, v pátek. Žádný spam – odhlásíte se jedním klikem.

Další nástroje z katalogu

Další nástroje z katalogu, které stojí za prohlédnutí.