Cloudflare teatas kolmapäeval, et hakkab peagi vaikimisi takistama segakasutusega veebiroboteid pääsemast ligi reklaamitulu teenivatele klientide veebisaitidele. See on osa ettevõtte jõupingutustest anda väljaandjatele suurem kontroll selle üle, kuidas nende sisu tehisintellekti (AI) teenuste jaoks kasutatakse.
Google, Microsoft ja Apple kasutavad roboteid, mis ühendavad otsinguindekseerimise ja AI-mudelite treenimiseks vajaliku sisu kogumise. Väljaandjad on seni sallinud selliste robotite ligipääsu, kartes muidu Google’i otsingutulemustest kaduda. Apple ja Google toetavad robots.txt direktiive (Applebot-Extended ja Google-Extended), mis lubavad AI-andmete kogumisest loobuda, Bing pakub sarnast võimalust noarchive-atribuudi kaudu. Paljud teised robotid aga eiravad robots.txt juhiseid.
Cloudflare’i tegevjuhi Matthew Prince’i sõnul on enamik internetiliiklusest praegu mitteinimlik ning vaja on kiiremaid meetmeid jätkusuutliku ökosüsteemi loomiseks. Alates 15. septembrist 2026 lubatakse uutel klientidel ja uutel veebisaitidel vaikimisi otsinguindekseerimine, kuid blokeeritakse AI-treenimine ja agendid reklaamiga lehtedel. Muudatus kehtib ka tasuta plaani klientidele, kes pole seadeid muutnud.