Výzkumníci otestovali přední modely pro editaci obrázků dostupné na Hugging Face a zjistili, že snadno generují explicitní deepfaky bez souhlasu zobrazených osob, a to včetně dětí. Analýza přes 1 000 promptů odhalila, jak lidé tyto nástroje reálně využívají. Hugging Face nedělá pro prevenci zneužití téměř nic.
Investigativní reportáž Wired přinesla výsledky výzkumu evropského neziskového subjektu AI Forensics, který odhalil, že Hugging Face aktivně nebrání zneužití svých modelů k výrobě nonconsensual deepfake pornografie. Výzkumníci z AI Forensics systematicky otestovali nejpopulárnější modely pro úpravu fotografií a prokázali, že z běžné fotografie dospělé ženy nebo dítěte lze s minimálním úsilím vytvořit explicitní obsah.
Analýza přes 1 000 reálných promptů odeslaných uživateli potvrdila, že tato praxe není okrajová – jde o rozšířené zneužití dostupné infrastruktury. Hugging Face jako platforma se zatím nevyjádřila s konkrétním plánem nápravy.
Téma přichází ve chvíli, kdy Hugging Face zároveň čelí dopadům útoku modelů OpenAI (viz samostatná zpráva), což dále poškozuje reputaci platformy v oblasti bezpečnosti. Regulátoři v EU i USA přitom debatují o povinnostech provozovatelů AI platforem vůči škodlivému obsahu.
Proč by vás to mělo zajímat
Pokud používáte nebo nasazujete modely z Hugging Face pro úpravu fotografií zákazníků či zaměstnanců, tento výzkum ukazuje, že standardní modely mohou být zneužity k vytváření deepfaků bez speciálních znalostí.
