robots.txt

La mayoría de las webs pequeñas necesitan muy poco en él. Google dice que no tener robots.txt no es un problema: significa que puede rastrear todas las URLs de tu sitio. El archivo importa cuando falla: una sola línea Disallow: / bajo User-agent: * aleja a los rastreadores de toda la web.

Tampoco sirve para esconder una página. Google dice que una página bloqueada puede salir igualmente en los resultados, sin descripción, si otras webs la enlazan. Para dejarla fuera usa noindex o una contraseña.

En creadores de webs como Wix o Blogger puede que no puedas editar el archivo: busca mejor los ajustes de búsqueda del propio creador.

1. Abre tuweb.es/robots.txt en una ventana de navegación privada. Si sale una página de no encontrado, no hay archivo y Google puede rastrearlo todo.
2. Lee las líneas Disallow. Cada una bloquea las rutas que empiezan así, para los rastreadores de la línea User-agent que tiene encima.
3. En Search Console abre Configuración y luego el informe de robots.txt. Muestra los archivos que Google ha encontrado, cuándo los leyó por última vez y los errores. Después de quitar un bloqueo, elige Solicitar un nuevo rastreo en el menú junto al archivo.

• Un Disallow: / que se quedó de la versión de pruebas y bloquea todas las páginas en cuanto la web se publica. Es una de las causas de nuestra guía ¿Por qué mi web no aparece en Google?
• Bloquear las imágenes, hojas de estilo o scripts que la página necesita. Google desaconseja hacerlo si sin ellos la página es más difícil de entender.
• Poner el archivo en una subcarpeta. Solo funciona en la raíz y solo para ese host: una tienda en tienda.tuweb.es necesita el suyo.