Crawlers de IA bloqueados por robots.txt

Este aviso aparece cuando tu archivo robots.txt bloquea el acceso a bots de inteligencia artificial conocidos, como los que usan ChatGPT, Claude o Perplexity. Aquí te explicamos qué significa y qué puedes hacer al respecto.

Qué significa este error

Tu archivo robots.txt es el primer punto de contacto entre tu sitio y cualquier rastreador automático, ya sea un buscador tradicional o un agente de inteligencia artificial. En él se declaran reglas por user-agent que indican qué partes del sitio puede o no puede visitar cada uno. Hemos detectado que una o más reglas de tu robots.txt bloquean, a nivel de raíz ("Disallow: /"), a user-agents identificados como bots de IA: crawlers usados para entrenar modelos de lenguaje o para alimentar motores de respuesta que citan fuentes en tiempo real, como GPTBot, ClaudeBot, PerplexityBot o Google-Extended, entre otros. Este bloqueo puede estar en una regla específica para ese bot, o simplemente heredado del grupo genérico "User-agent: *", que se aplica a cualquier rastreador que no tenga una regla propia definida. No es infrecuente que estos bloqueos existan sin que nadie los haya puesto ahí a propósito: muchas plantillas y generadores de robots.txt bloquean todo por defecto, o alguien añadió una regla amplia años atrás para otro motivo y nunca se revisó de nuevo.

Por qué es importante corregirlo

Que estos bots no puedan acceder a tu sitio tiene consecuencias muy distintas según cuál sea tu objetivo, así que antes de tocar nada conviene entender qué te estás jugando.

Visibilidad en respuestas de IA

Si un asistente como ChatGPT o Perplexity no puede rastrear tu sitio, no podrá citarlo como fuente cuando alguien pregunte sobre temas relacionados con tu contenido.

Entrenamiento de modelos de lenguaje

Bloquear bots como GPTBot o CCBot impide que tu contenido se use para entrenar futuros modelos, lo cual puede ser justo lo que buscas si quieres proteger contenido original.

Operación por agentes de IA

Cada vez más agentes automatizados navegan sitios web en nombre de un usuario (comparar precios, rellenar formularios, resumir información). Si estos bots están bloqueados, tu sitio queda fuera de ese ecosistema.

Coherencia con tu estrategia real

El problema no es el bloqueo en sí, sino que ocurra sin que lo hayas decidido tú: puede llevar años sin revisarse y ya no reflejar lo que realmente quieres para tu sitio.

Cómo solucionarlo paso a paso

Resolver esto no es cuestión de eliminar reglas a ciegas, sino de decidir con intención qué bots quieres que entren y cuáles no.

Paso 1

Identifica qué bots están bloqueados

Revisa la lista de user-agents afectados que te mostramos en el detalle de este aviso.

Dónde aplicarlo: En la tabla de este error, columna "Bots de IA bloqueados".

Paso 2

Decide si el bloqueo es intencional

Si quieres proteger tu contenido de ser usado para entrenar modelos de IA, el bloqueo puede ser correcto tal cual está.

Dónde aplicarlo: No requiere ninguna acción si es tu decisión consciente.

Paso 3

Abre tu robots.txt y localiza la regla

Busca el grupo "User-agent" correspondiente a cada bot que quieras desbloquear, o el grupo "User-agent: *" si no tienen uno propio.

Dónde aplicarlo: En https://tudominio.com/robots.txt.

Paso 4

Ajusta o elimina el "Disallow: /"

Para permitir el acceso, quita la línea que bloquea la raíz del grupo correspondiente, o añade una excepción específica para ese user-agent.

Dónde aplicarlo: En el archivo robots.txt de tu servidor o CMS.

¿Tu sitio tiene este problema?

Audita tu web gratis y descubre si este y otros errores SEO están afectando tu posicionamiento.

Ver todos los errores que detectamos