Falta el archivo robots.txt
Este error aparece cuando tu web no tiene archivo robots.txt y la dirección donde debería estar da error de página no encontrada (404). Te explicamos qué implica y cómo crearlo en unos minutos.
Qué significa este error
Por qué es importante crear el archivo robots.txt
Impacto en el posicionamiento SEO
Sin reglas, Google dedica tiempo a páginas que no te aportan nada en los resultados, como el carrito, las búsquedas internas o el área de administración. En una web pequeña apenas se nota. En una tienda con miles de filtros y combinaciones, ese tiempo se resta a las páginas que sí quieres posicionar.
Obstáculos para el rastreo y la indexación
Sin robots.txt tampoco hay una línea que indique dónde está tu sitemap. Los buscadores a los que no has enviado el sitemap tienen que encontrar tus páginas siguiendo enlaces, y las páginas con pocos enlaces tardan más en rastrearse.
Señales negativas para la calidad del sitio
En una web con WordPress, Shopify o Wix, que falte el archivo es una pista de que algo en el servidor está bloqueando esa dirección, como una regla de redirección o un plugin de seguridad, y eso mismo puede estar afectando a otras páginas.
Cómo solucionarlo paso a paso
Si este error apareció en tu auditoría, aquí tienes los pasos para dejarlo atrás.
Comprueba la dirección en el navegador
Escribe tudominio.com/robots.txt en el navegador. Si ves una página de no encontrado, el archivo no existe y puedes pasar al siguiente paso. Si te lleva a la página de inicio o al login, una redirección tapa el archivo. Pide a tu hosting o a quien mantiene la web que el robots.txt se muestre en esa dirección sin redirigir. Si ves el texto del archivo pero la auditoría sigue dando 404, es probable que un plugin de seguridad, un cortafuegos o la CDN lo estén bloqueando para los rastreadores. Revisa primero el plugin desde WordPress, y si no es eso, pide a tu hosting que mire el cortafuegos o la CDN.
Crea el archivo según dónde está tu web
WordPress crea un robots.txt automático aunque no haya ningún archivo en el servidor, así que si te sale este error, lo normal es que una redirección o un bloqueo lo tape, como en el paso anterior. Para personalizarlo, lo más cómodo es tu plugin SEO, como Yoast o Rank Math. En Yoast está en Yoast SEO > Herramientas > Editor de archivos, y en Rank Math en Ajustes generales > Editar robots.txt, con el modo avanzado activado. Shopify y Wix crean uno por defecto en todas las webs, así que si en una de ellas te sale este error, avisa a quien gestiona tu web o al soporte de la plataforma. Para cambiarlo, en Shopify se edita desde el código del tema y en Wix desde el editor de robots.txt de su apartado de SEO. En una web a medida, crea un archivo llamado exactamente robots.txt con un editor de texto sin formato, como el Bloc de notas. Súbelo a la raíz del dominio, la carpeta principal de tu web, desde el gestor de archivos de tu hosting. Cada subdominio necesita el suyo, porque el de tudominio.com no vale para blog.tudominio.com.
Escribe un contenido mínimo
Para empezar te basta con unas pocas líneas. La primera indica que las reglas valen para todos los rastreadores, cada Disallow bloquea una sección y la última declara el sitemap con su dirección completa. Un ejemplo son estas cuatro líneas, cada una en la suya y con una línea en blanco antes de la del sitemap, «User-agent: *», «Disallow: /carrito/», «Disallow: /buscar/» y «Sitemap: https://www.tudominio.com/sitemap.xml». Cambia las rutas por las de las secciones que no quieres que se rastreen y la URL por la de tu sitemap. Si escribes «Disallow: /» a secas, bloqueas la web entera.
Comprueba el archivo y vuelve a auditar
Abre otra vez tudominio.com/robots.txt y confirma que se ve el texto tal como lo escribiste. Después revisa el informe de robots.txt de Google Search Console, que está en Ajustes, para ver si Google ya lo ha obtenido. Por último, vuelve a pasar Ruk Audit para confirmar que el error ha desaparecido.
¿Tu sitio tiene este problema?
Audita tu web gratis y descubre si este y otros errores SEO están afectando tu posicionamiento.