robots.txt

La plupart des petits sites n'ont presque rien à y mettre. Google indique que l'absence de fichier robots.txt n'est pas grave et signifie qu'il peut explorer toutes les URL de votre site. Le fichier compte surtout quand il est faux : une seule ligne Disallow: / sous User-agent: * écarte les robots de tout le site.

Ce n'est pas non plus un moyen de cacher une page. Google indique qu'une page bloquée peut quand même apparaître dans les résultats, sans description, si d'autres sites pointent vers elle. Pour l'écarter, utilisez noindex ou un mot de passe.

Sur des créateurs de site comme Wix ou Blogger, vous ne pourrez peut-être pas modifier le fichier : cherchez plutôt les paramètres de recherche du créateur.

1. Ouvrez votresite.fr/robots.txt dans une fenêtre de navigation privée. Si une page introuvable s'affiche, il n'y a pas de fichier et Google peut tout explorer.
2. Lisez les lignes Disallow. Chacune bloque les chemins qui commencent ainsi, pour les robots nommés dans la ligne User-agent au-dessus.
3. Dans la Search Console, ouvrez Paramètres puis le rapport robots.txt. Il montre les fichiers trouvés par Google, la date de leur dernière exploration et les erreurs. Après avoir retiré un blocage, choisissez Demander une nouvelle exploration dans le menu à côté du fichier.

• Un Disallow: / resté de la version de test du site, qui bloque toutes les pages dès la mise en ligne. C'est l'une des causes vues dans notre guide Pourquoi mon site n'apparaît-il pas sur Google ?
• Bloquer les images, feuilles de style ou scripts dont la page a besoin. Google le déconseille si la page devient plus difficile à comprendre sans eux.
• Placer le fichier dans un sous-dossier. Il ne fonctionne qu'à la racine, et seulement pour cet hôte : une boutique sur boutique.votresite.fr a besoin du sien.