Cloudflare 6. července 2026 oznámil novou politiku: AI boty určené ke scraping dat pro trénování modelů budou blokovány, zatímco vyhledávací boti (crawleři) zůstanou povoleni. Jde o reakci na masivní nárůst AI provozu, který zatěžuje weby provozované přes Cloudflare. The Neuron označuje tento krok za první velkou infrastrukturní linii mezi povoleným a zakázaným AI využitím webu.
Cloudflare 6. července 2026 představil nové nástroje pro správu AI provozu dostupné všem zákazníkům, včetně těch na bezplatném plánu. Systém rozděluje boty do tří kategorií podle jejich účelu: vyhledávací (Search), agentní (Agent) a trénovací (Training). Vyhledávací boti, kteří pomáhají uživatelům najít obsah, zůstávají povoleni. Trénovací boti, kteří obsah vstřebávají do modelů, mohou být zablokováni. Agentní boti navštěvují stránky jménem uživatele a budou vyžadovat jasnější oprávnění.
Od 15. září 2026 budou nové domény přidávané do Cloudflare mít u stránek financovaných reklamou standardně zablokované agentní i trénovací boty – vyhledávání však zůstane povoleno. Crawleři, kteří kombinují vyhledávání a trénování, mohou být blokováni celkově, pokud vlastník webu zakáže trénovací přístup. Provozovatelé stránek mohou nastavení upravit v sekci Security před datem spuštění.
The Neuron přirovnává dosavadní situaci k tomu, že „AI firmy přistupovaly k otevřenému webu jako ke spíži" – Cloudflare nyní dává majitelům obsahu nástroj, jak přístup ke svým „poličkám" spravovat jako obchodní rozhodnutí. Kritici mohou namítat, že přísnější výchozí nastavení ztíží menším webům zviditelnění skrze AI nástroje. Krok se dotýká všech, kdo publikují online – od mediálních společností přes sólové tvůrce až po SaaS firmy s veřejnou dokumentací.
Proč by vás to mělo zajímat
Pokud provozujete web nebo e-shop, Cloudflare vám nyní dává jednodušší nástroj, jak ochránit obsah před AI scrapingem, aniž byste ztratili organický dosah ve vyhledávačích.