Glossario · ThinkClouds

robots.txt

File di testo nella radice del sito che indica ai crawler quali percorsi possono scaricare, secondo il Robots Exclusion Protocol (RFC 9309).

robots.txt è un file di testo che sta nella radice di un host, per esempio https://esempio.it/robots.txt, e indica ai crawler quali percorsi possono scaricare. Il formato nasce nel 1994 da una proposta di Martijn Koster ed è rimasto per quasi trent’anni una convenzione informale; nel settembre 2022 l’IETF lo ha pubblicato come standard nella RFC 9309, Robots Exclusion Protocol.

Sintassi

Il file è diviso in gruppi. Ogni gruppo comincia con una o più righe User-agent, che indicano a quali crawler si applica, e contiene regole Allow e Disallow con un percorso. Quando più regole corrispondono allo stesso indirizzo vince quella più specifica, cioè con il percorso più lungo. La riga Sitemap, non prevista dalla RFC ma letta da tutti i motori principali, indica l’indirizzo della sitemap XML. La RFC fissa anche un limite: i crawler devono leggere almeno i primi 500 KiB del file.

Cosa non fa

robots.txt è una richiesta, non una barriera. I crawler onesti la rispettano, gli altri no, e il file stesso è pubblico: elencare lì un percorso riservato significa indicarlo a chiunque. Non impedisce l’indicizzazione: per togliere una pagina dai risultati serve il noindex, che il motore legge solo se può scaricare la pagina. Bloccare CSS e JavaScript è un errore, perché impedisce al motore di vedere la pagina come la vede un visitatore.

Crawler AI

Dal 2023 robots.txt è anche il luogo in cui un sito decide se ammettere i crawler delle aziende di intelligenza artificiale, che si presentano con user agent propri: GPTBot di OpenAI, ClaudeBot di Anthropic, Google-Extended per l’uso dei contenuti nei modelli di Google, PerplexityBot e altri. Bloccarli riduce la probabilità che i contenuti compaiano nelle risposte degli assistenti.

In ThinkSEO

In modalità indipendente ThinkSEO genera robots.txt in modo virtuale, senza un file fisico sul server, con la riga della sitemap e le regole per gli agenti AI scelte nella sezione Visibilità AI. Un preset blocca i crawler che raccolgono testi per l’addestramento e lascia passare gli agenti che leggono le pagine per citarle nelle risposte. Se nella radice esiste un file robots.txt fisico, il server lo serve al posto di quello virtuale: va rimosso o rinominato.

Fonti

Serve aiuto?

Installiamo, configuriamo e colleghiamo il plugin al tuo sito, con i template Elementor già pronti.