robots.txt

Alla maggior parte dei siti piccoli serve pochissimo. Google dice che non avere un file robots.txt non è un problema: vuol dire che può scansionare tutti gli URL del sito. Il file conta quando è sbagliato: una sola riga Disallow: / sotto User-agent: * tiene i crawler lontani da tutto il sito.

Non serve nemmeno a nascondere una pagina. Google dice che una pagina bloccata può comparire lo stesso nei risultati, senza descrizione, se altri siti la collegano. Per tenerla fuori usa noindex o una password.

Con website builder come Wix o Blogger potresti non poter modificare il file: cerca piuttosto le impostazioni di ricerca del builder.

1. Apri tuosito.it/robots.txt in una finestra di navigazione privata. Se esce una pagina non trovata, il file non c'è e Google può scansionare tutto.
2. Leggi le righe Disallow. Ognuna blocca i percorsi che iniziano così, per i crawler indicati nella riga User-agent sopra.
3. In Search Console apri Impostazioni e poi il report sui file robots.txt. Mostra i file che Google ha trovato, quando li ha letti l'ultima volta e gli eventuali errori. Dopo aver tolto un blocco, scegli Richiedi una nuova scansione dal menu accanto al file.

• Un Disallow: / rimasto dalla versione di prova del sito, che blocca tutte le pagine appena il sito va online. È una delle cause nella guida Perché il mio sito non compare su Google?
• Bloccare le immagini, i fogli di stile o gli script che servono alla pagina. Google sconsiglia di farlo se senza quei file la pagina diventa più difficile da capire.
• Mettere il file in una sottocartella. Funziona solo nella cartella principale e solo per quell'host: un negozio su negozio.tuosito.it ne vuole uno suo.