robots.txt

A maioria dos sites pequenos precisa de muito pouco nele. A Google diz que não ter um robots.txt é normal e significa que pode rastrear todos os URLs do site. O ficheiro importa quando está errado: uma única linha Disallow: / debaixo de User-agent: * afasta os rastreadores do site inteiro.

Também não serve para esconder uma página. A Google diz que uma página bloqueada pode aparecer na mesma nos resultados, sem descrição, se outros sites tiverem links para ela. Para a deixar de fora, usa noindex ou uma palavra-passe.

Em criadores de sites como o Wix ou o Blogger talvez não consigas editar o ficheiro: procura antes as definições de pesquisa do próprio criador.

1. Abre osteusite.pt/robots.txt numa janela de navegação privada. Se aparecer uma página de não encontrado, não há ficheiro e a Google pode rastrear tudo.
2. Lê as linhas Disallow. Cada uma bloqueia os caminhos que começam assim, para os rastreadores indicados na linha User-agent acima.
3. Na Search Console, abre Configurações e depois o relatório robots.txt. Mostra os ficheiros que a Google encontrou, quando os leu pela última vez e os erros. Depois de tirar um bloqueio, escolhe Solicitar um novo rastreamento no menu ao lado do ficheiro.

• Um Disallow: / que ficou da versão de testes e bloqueia todas as páginas assim que o site é publicado. É uma das causas do nosso guia Porque é que o meu site não aparece no Google?
• Bloquear as imagens, folhas de estilo ou scripts de que a página precisa. A Google desaconselha-o se, sem eles, a página ficar mais difícil de perceber.
• Pôr o ficheiro numa subpasta. Só funciona na raiz e só para esse host: uma loja em loja.osteusite.pt precisa do seu.