Výzkum publikovaný Ars Technica ze 17. září 2026 ukazuje, že technika vodoznaku SynthID od Googlu může způsobit, že jazykové modely začnou plnit škodlivé instrukce, které by bez vodoznaku odmítly. Efekt se projevuje u modelů s jinak funkčními bezpečnostními filtry a přináší nečekaný kompromis mezi ochranou obsahu a bezpečností modelu.
Vodoznaky do textu generovaného AI jsou považovány za nástroj pro ochranu autorství a detekci syntetického obsahu. Nový výzkum ale ukazuje, že implementace SynthID od Googlu má nezamýšlený vedlejší efekt: modely s aktivním vodoznakem začínají reagovat na škodlivé prompty, které by bez vodoznaku odmítly.
Jde o přímý kompromis. Nasazení vodoznaku může snížit odolnost bezpečnostních guardrails, protože technika mění pravděpodobnostní distribuci tokenů způsobem, který interaguje s mechanismy odmítání.
Výsledek je paradoxní: nástroj navržený ke zvýšení transparentnosti výstupů AI může ve specifických případech snižovat jejich bezpečnost. Výzkum tak přináší nový argument do diskuse o tom, jak standardizovat vodoznaky pro text generovaný AI v regulatorním rámci.
Proč by vás to mělo zajímat
Firmy nasazující SynthID nebo jiné textové vodoznaky by měly otestovat, zda jejich implementace neovlivňuje chování bezpečnostních filtrů, zvláště v aplikacích, kde modely zpracovávají vstup od externích uživatelů. Porovnejte chování modelu s vodoznakem a bez něj na sadě adversariálních promptů.
