Rastreadores de IA y robots.txt: GPTBot, ClaudeBot, Google-Extended y llms.txt, qué permitir y qué esperar

Durante años, el único robot al que prestabas atención en tus registros era Googlebot. Hoy aparecen también nombres como GPTBot, ClaudeBot o PerplexityBot, y cada uno hace algo distinto: unos recogen tu contenido para entrenar modelos, otros construyen el índice con el que un asistente responde preguntas, y otros entran en una página solo porque alguien acaba de pedírselo. Tratarlos a todos igual, ya sea abriéndoles la puerta de par en par o cerrándosela a todos, es el error más habitual.

Antes de empezar, un aviso que repetiremos: los nombres de los rastreadores, sus políticas y su forma de comportarse cambian con frecuencia. Lo que sigue es un mapa para orientarte a fecha de redacción, no una referencia definitiva. Antes de tocar tu configuración, confirma cada dato en la documentación oficial de cada proveedor.

Tres tipos de visita y qué user-agent corresponde a cada uno

Para decidir bien, primero hay que separar por qué viene cada visitante. Casi todos encajan en una de estas tres categorías:

• Entrenamiento: recogen páginas para alimentar o mejorar modelos de lenguaje. Tu contenido puede acabar influyendo en lo que un modelo "sabe", normalmente sin un enlace de vuelta hacia ti.
• Búsqueda con IA: rastrean e indexan para que, cuando alguien pregunte a un asistente con búsqueda, este pueda localizar fuentes y citarlas, normalmente con enlace. Es lo más parecido a lo que hace Googlebot.
• Agentes a petición del usuario: el asistente visita una URL concreta porque una persona le ha pedido que resuma una página o la ha pegado en el chat. No rastrean la web de forma masiva: actúan en nombre de alguien en ese momento.

Cada proveedor suele identificar cada función con un user-agent distinto, que es el nombre con el que el rastreador se presenta ante tu servidor. Estos son los principales a fecha de redacción:

Hay además tres piezas que merecen explicación aparte, porque se malinterpretan mucho:

• Google-Extended: no es un rastreador. Es un token de robots.txt que le indica a Google si el contenido que ya ha rastreado con sus agentes habituales puede usarse para Gemini. No afecta a que salgas en Google Search ni a tu posicionamiento, así que bloquearlo no te saca de los resultados. Tampoco debes asumir que controla todo lo que Google hace con IA dentro del buscador: eso se rige por los controles habituales de Search, y lo correcto es leerlo en la documentación de Google.
• Applebot-Extended: mismo planteamiento en Apple. Applebot es quien rastrea; el token Extended indica si ese contenido puede usarse para entrenar los modelos generativos de la compañía.
• CCBot: el rastreador de Common Crawl, un archivo abierto de la web que muchos proyectos usan como materia prima para entrenar modelos. Bloquearlo reduce que tus páginas entren en futuros volcados, pero no retira lo que ya se publicó.

La lista no es exhaustiva y puede haber cambiado. Además, algunos proveedores indican que los agentes a petición del usuario pueden no seguir robots.txt, porque no rastrean por su cuenta. Lee qué dice cada uno.

robots.txt: qué es, qué no es y reglas para copiar

El robots.txt es un fichero de texto que vive en la raíz de tu dominio (por ejemplo, https://www.ejemplo.es/robots.txt) y contiene grupos de reglas. Cada grupo empieza con una línea User-agent y sigue con instrucciones Allow o Disallow. Es una convención, hoy recogida en un estándar de internet, que los rastreadores respetuosos siguen de forma voluntaria. Ese matiz lo cambia todo. Tres ideas para evitar malentendidos:

• No es un control de acceso ni una medida de seguridad. Un rastreador que no quiera obedecer simplemente no obedece. Además, el fichero es público: listar ahí /privado/ es avisar de que existe. Lo confidencial va detrás de un acceso con contraseña, no detrás de un Disallow.
• Bloquear el rastreo no es lo mismo que no indexar. Un Disallow impide que el robot lea la página, pero la URL todavía puede aparecer en un buscador si otras webs la enlazan. Para que una página no se indexe necesitas la directiva noindex, y para que el robot la vea, tiene que poder rastrearla.
• No es retroactivo. Cambiar el fichero afecta a las visitas futuras de quien lo respete. No borra lo que ya se recogió ni obliga a nadie a olvidarlo.

Otro detalle técnico: cada robot busca el grupo cuyo User-agent coincide mejor con su nombre y, si no hay ninguno, usa el grupo *. Por eso, en cuanto creas un grupo específico para GPTBot, ese robot deja de mirar las reglas del grupo general. Estos son tres ejemplos reales que puedes adaptar. El primero permite el acceso a todo y declara el sitemap:

User-agent: *
Allow: /

Sitemap: https://www.ejemplo.es/sitemap.xml

El segundo bloquea solo los usos de entrenamiento y deja abiertos tanto la búsqueda tradicional como los rastreadores de búsqueda con IA y los agentes a petición:

# Entrenamiento: bloqueado
User-agent: GPTBot
Disallow: /

User-agent: ClaudeBot
Disallow: /

User-agent: Google-Extended
Disallow: /

User-agent: Applebot-Extended
Disallow: /

User-agent: CCBot
Disallow: /

# El resto, incluida la búsqueda: permitido
User-agent: *
Allow: /

Sitemap: https://www.ejemplo.es/sitemap.xml

El tercero cierra solo un directorio a varios rastreadores de IA y deja el resto del sitio accesible. Fíjate en que varias líneas User-agent seguidas comparten las mismas reglas:

User-agent: GPTBot
User-agent: ClaudeBot
User-agent: PerplexityBot
Disallow: /area-clientes/
Disallow: /informes-de-pago/

Una advertencia práctica: un Disallow: / bajo User-agent: * heredado de un entorno de pruebas es uno de los fallos más caros que existen, porque cierra la puerta a todos a la vez. Revisa el tuyo.

El dilema de negocio: permitir, bloquear o matizar

La parte técnica es sencilla. La difícil es decidir qué quieres, porque cada categoría de rastreador implica una apuesta distinta:

• Búsqueda con IA: si quieres que ChatGPT, Gemini o Perplexity te citen o te recomienden, bloquear su rastreo de búsqueda va en contra de tu objetivo. Si no pueden leerte, difícilmente te mencionarán con información actual. Y al revés: permitirlo no garantiza que lo hagan.
• Entrenamiento: es una decisión distinta y legítima en ambos sentidos. Tiene más peso si vives de tu propiedad intelectual, si tienes contenido de pago, cursos, bases de datos o eres un medio que depende de visitas o licencias. Para un negocio de servicios con una web comercial, el coste de permitirlo suele ser menor, aunque no hay una relación demostrada y simple entre permitir el entrenamiento y que te mencionen más. Si hay dinero o derechos en juego, consúltalo con alguien que te asesore en lo legal.
• Agentes a petición: bloquearlos significa que la persona que pega tu URL en un asistente recibirá un error o una respuesta pobre sobre tu empresa. En una web que busca clientes, rara vez es lo que quieres.

Como punto de partida, una web comercial típica suele permitir la búsqueda y las visitas a petición, y decidir de forma consciente sobre el entrenamiento. Una editorial o una plataforma con contenido de pago probablemente querrá cerrar el entrenamiento y revisar caso por caso lo demás. Lo importante es que sea una decisión tuya, apuntada por escrito, y no el resultado de pegar un fichero que viste en un foro.

Cómo ver quién te rastrea de verdad

El robots.txt recoge lo que tú pides; los registros recogen lo que pasa. Son dos cosas distintas, y conviene mirar las dos.

• Logs del servidor: el fichero de accesos de Apache o Nginx, o el apartado de registros y estadísticas de tu hosting, muestra cada petición con su user-agent. Si tienes acceso por terminal, una búsqueda sencilla te da una primera idea del volumen.
• Analítica del CDN o del cortafuegos: muchos paneles agrupan el tráfico de bots por categorías y te dejan filtrar por nombre.
• Analítica web: herramientas como GA4 normalmente no sirven para esto, porque estos robots no ejecutan tu código de medición.

grep -iE 'gptbot|oai-searchbot|chatgpt-user|claudebot|claude-user|perplexity|ccbot' access.log | less

Mira tres cosas: con qué frecuencia vienen, qué URLs piden y qué código de respuesta reciben. Un 200 significa que accedieron; un 403 o un 429 significa que alguien (tú, tu hosting o tu cortafuegos) les cerró la puerta, aunque tu robots.txt diga lo contrario.

Ojo con los impostores. El user-agent es solo un texto y cualquiera puede escribirlo, de modo que hay bots que se hacen pasar por GPTBot o por Googlebot para colarse. Si necesitas saber si la visita es auténtica, compara la IP con la información que publica cada proveedor (algunos ofrecen listas de rangos de IP, otros indican cómo verificarla con consultas DNS). No todos lo documentan igual, así que consulta qué ofrece cada uno.

Cortafuegos y CDN. Muchos servicios de CDN, cortafuegos de aplicaciones web, plugins de seguridad y hostings incluyen gestión de bots, y algunos traen interruptores para bloquear rastreadores de IA que pueden estar activados sin que lo recuerdes. No podemos dar por hecho cómo se comporta el tuyo, así que compruébalo: entra en el panel, busca secciones como bots, rastreadores de IA o limitación de peticiones, y contrasta con lo que ves en los logs. Una prueba rápida es pedir tu portada haciéndote pasar por uno de ellos:

curl -I -A 'GPTBot' https://www.ejemplo.es/

Interprétala con cuidado: si el sistema valida también la IP de origen, tu prueba no equivale a una visita real, pero un bloqueo evidente es una pista valiosa.

llms.txt: qué es y la verdad incómoda

El llms.txt es una propuesta de la comunidad, publicada en 2024, para ofrecer a los modelos de lenguaje una versión resumida y limpia de tu sitio. Es un fichero en formato markdown, ubicado en la raíz (/llms.txt), con el nombre del sitio, un breve resumen y listas de enlaces a las páginas clave, cada una con una frase descriptiva. La idea es que un modelo no tenga que desenredar menús, banners y scripts para entender de qué va tu web. Un ejemplo con un negocio ficticio:

# Ejemplo Reformas

> Empresa de reformas integrales en Madrid. Presupuesto sin compromiso.

## Servicios

- [Reformas de baños](https://www.ejemplo.es/reformas-banos/): qué incluye, plazos y cómo pedir presupuesto
- [Reformas de cocinas](https://www.ejemplo.es/reformas-cocinas/): tipos de proyecto y materiales

## Empresa

- [Contacto](https://www.ejemplo.es/contacto/): dirección, teléfono y horario

Ahora, la verdad incómoda: a fecha de redacción no hay confirmación de que los grandes asistentes lo utilicen de forma sistemática. No es un estándar oficial, no sustituye a robots.txt (no concede ni deniega permisos) ni a tu sitemap, y no deberías venderlo, ni creértelo, como una palanca de posicionamiento. Comprueba en la documentación de cada proveedor si ha anunciado algún soporte, porque esto puede cambiar.

Entonces, ¿merece la pena? Es opcional y de bajo coste: con una hora puedes redactarlo. Su riesgo real es que se quede desactualizado, así que genéralo desde las mismas fuentes que tu sitemap o no lo publiques. Hazlo si te sobra tiempo, nunca en lugar de lo que viene a continuación.

Qué sí mueve la aguja para GEO

Si llms.txt no es la palanca, ¿cuál es? La respuesta decepciona un poco porque se parece mucho al buen SEO de siempre, pero con algunos matices. Ninguna de estas acciones garantiza que un asistente te cite, pero sí aumentan las opciones de que te entienda y te encuentre:

• Contenido rastreable en HTML. Lo importante tiene que estar en el HTML que entrega tu servidor, no solo detrás de JavaScript, pestañas que se cargan al hacer clic o formularios. No todos los rastreadores ejecutan JavaScript. Compruébalo con "ver código fuente" o con curl: si tu oferta no aparece, probablemente tampoco la ven ellos.
• Claridad y estructura. Titulares descriptivos, párrafos que responden a una pregunta concreta, listas, tablas simples y respuestas directas al principio de cada sección. Lo que es fácil de leer para una persona suele serlo para una máquina.
• Datos estructurados. Marcado schema.org en JSON-LD (Organization, LocalBusiness, Article, Product, según el caso) que coincida con lo que se ve en la página. Ayuda a desambiguar quién eres y qué ofreces.
• Menciones externas. Directorios del sector, prensa especializada, reseñas y perfiles propios. Los asistentes no se fían solo de lo que tú dices de ti mismo.
• Información coherente. Los mismos datos en todas partes, incluidos los de contacto: el NAP (nombre, dirección y teléfono) debe coincidir en tu web, en tu ficha de Google Business Profile y en los directorios. Un horario distinto en cada sitio resta confianza.
• Páginas rápidas y estables. Si el servidor tarda o responde con errores, los rastreadores reducen su interés. Sitemap al día, enlaces internos sensatos y canonicals correctas siguen siendo la base.

Plan de actuación en cinco pasos y checklist

1. Decide tu postura por categoría. Búsqueda con IA, entrenamiento y agentes a petición: qué permites, qué bloqueas y por qué. Apúntalo.
2. Revisa y escribe tu robots.txt. Comprueba que no arrastras un bloqueo total heredado y aplica las reglas del paso anterior con la sintaxis correcta.
3. Mira tus logs y tu cortafuegos. Averigua quién viene de verdad, qué respuestas recibe y a quién estás bloqueando sin querer.
4. Prepara el contenido. HTML rastreable, estructura clara, datos estructurados y NAP coherente en todas partes.
5. Opcional: llms.txt y revisión periódica. Publícalo si te compensa y pon en el calendario una revisión trimestral de la documentación de los proveedores, porque los nombres y las políticas cambian.

Y esta es la checklist resumida para repasar:

• Tengo por escrito qué permito en búsqueda, entrenamiento y visitas a petición.
• Mi robots.txt carga en la raíz, está bien escrito y no bloquea todo por error.
• He verificado los nombres de los user-agents en la documentación oficial de cada proveedor.
• Sé qué rastreadores me visitan según mis logs o mi CDN y qué código de respuesta reciben.
• He comprobado que mi cortafuegos o CDN no bloquea a los que quiero permitir.
• El contenido clave está en el HTML y la información de contacto es coherente en todas partes.

Preguntas frecuentes