L’ANALISI
Cloudflare divide Search, Agent e Training: cosa controllare oggi
Le policy non trattano più ogni bot AI allo stesso modo: ricerca, agenti e addestramento diventano categorie gestibili separatamente, con nuovi default per i domini appena attivati.
In breve: Cloudflare permette a tutti i clienti di scegliere separatamente se consentire o bloccare crawler Search, Agent e Training. Per i nuovi domini, Agent e Training sono bloccati per default sulle pagine con annunci; Search resta consentito.
Il cambiamento operativo
Le impostazioni offrono per ogni categoria tre opzioni: blocco su tutto il dominio, blocco sulle sole pagine con annunci oppure accesso consentito. La vecchia opzione unica Block AI bots entra in deprecazione il 15 settembre.
Come vengono trattati i crawler multiuso
Un crawler classificato sia Search sia Training è valutato secondo tutte le sue funzioni. Se il proprietario blocca Training, prevale la regola più restrittiva anche quando lo stesso bot serve la ricerca.
BotBase e il nuovo segnale use
BotBase rende consultabile il catalogo dei bot verificati per i clienti Enterprise. Nel robots.txt gestito, use=reference indica la preferenza per indicizzazione, estratti e link, ma non costituisce da solo una misura tecnica di blocco.
Condizioni e limitazioni
La protezione dipende dalla capacità di identificare traffico e scopo. BotBase è Enterprise, i controlli per contenuto sono ancora in sviluppo e gli operatori evasivi possono richiedere regole e osservazione aggiuntive.
Checklist pratica
- Aprire Security Settings e registrare i valori attuali.
- Decidere separatamente la policy per Search, Agent e Training.
- Controllare le pagine con annunci e i nuovi default applicabili.
- Verificare l’effetto sui crawler multiuso e sulla visibilità organica.
- Leggere il robots.txt gestito e distinguere preferenze da blocchi effettivi.
- Monitorare log e referral dopo la modifica, con rollback documentato.