Glossario · ThinkClouds

Crawler e user agent

Programma che visita automaticamente le pagine web seguendo i link, per indicizzarle o raccoglierne i contenuti; si presenta con uno user agent.

Un crawler, detto anche spider o bot, è un programma che visita le pagine web in modo automatico: scarica una pagina, ne estrae i link, li aggiunge a una coda e prosegue. I motori di ricerca lo usano per costruire l’indice; altri servizi per raccogliere testi, controllare prezzi, verificare link o addestrare modelli linguistici. Ogni richiesta porta un’intestazione User-Agent con il nome del programma, per esempio Googlebot, Bingbot, GPTBot o ClaudeBot.

Fidarsi del nome

Lo user agent è una dichiarazione, non una prova: chiunque può scrivere “Googlebot” nelle proprie richieste. Google, Bing e gli altri motori principali pubblicano un metodo di verifica, basato sulla risoluzione inversa del DNS dell’indirizzo IP seguita da una risoluzione diretta, oppure sugli elenchi pubblici dei loro intervalli di indirizzi. Un sistema di sicurezza che fa eccezioni per i crawler deve verificarli in questo modo, altrimenti un attaccante può passare semplicemente presentandosi come motore di ricerca.

Come si governa

I crawler rispettosi leggono robots.txt e le direttive noindex, e regolano la velocità in base alle risposte del server: se un sito risponde con errori 500 o 503, Googlebot rallenta. Un sito lento o instabile viene quindi scansionato meno. Per i siti grandi il tema prende il nome di crawl budget; per i siti di dimensioni normali conta soprattutto non sprecare richieste in pagine inutili, catene di redirect e indirizzi duplicati.

Dal 2023 esiste una distinzione nuova, quella fra i crawler che raccolgono testi per addestrare modelli e gli agenti che leggono una pagina su richiesta per citarla in una risposta. Le aziende AI usano spesso user agent diversi per i due scopi, e robots.txt permette di trattarli in modo diverso.

Nei plugin ThinkClouds

ThinkSEO, nella sezione Visibilità AI, registra le visite dei robot noti senza salvare gli indirizzi IP, permette di scegliere quali agenti ammettere in robots.txt e controlla se il testo delle pagine è leggibile senza eseguire JavaScript, come lo legge la maggior parte dei crawler AI.

Serve aiuto?

Installiamo, configuriamo e colleghiamo il plugin al tuo sito, con i template Elementor già pronti.