Search Console te enseña lo que Google quiere contarte sobre tu web. Los registros del servidor te enseñan lo que Google hace de verdad: cada petición, a qué hora, a qué página y con qué resultado. Es la fuente más directa para entender cómo te rastrea, y casi nadie la mira.
No hace falta un equipo técnico ni software de pago. Con un archivo de texto y unos pocos comandos, o con el informe de rastreo de Search Console, se pueden sacar conclusiones útiles incluso en una web pequeña.
Qué son los registros de acceso
Tu servidor anota en un archivo (normalmente llamado access.log) una línea por cada petición que recibe, ya venga de una persona, de un robot de Google o de un bot cualquiera. Cada línea suele incluir la dirección IP, la fecha y hora, la página pedida, el código de respuesta (200, 301, 404, 500...), el tamaño y el user agent, que es el nombre con el que se identifica quien pide.
En un hosting compartido suele haber una opción en el panel para descargar los registros, y a veces solo se conservan unos días o semanas. Si usas una CDN, parte de las peticiones pueden quedarse registradas en ella y no en tu servidor. Ten en cuenta además que las direcciones IP son datos personales: no los compartas sin necesidad.
Qué te cuentan sobre cómo rastrea Google
Filtrando las líneas cuyo user agent contiene Googlebot, puedes responder a preguntas concretas. ¿Qué páginas visita más? ¿Con qué frecuencia vuelve a las importantes? ¿Gasta su tiempo en direcciones inútiles, como filtros, parámetros o páginas de búsqueda interna?
Por ejemplo, grep Googlebot access.log te saca sus visitas, y con un poco más de filtrado puedes contar cuántas veces ha pedido cada dirección. Si un bloque de URLs sin valor se lleva la mayor parte de las visitas, es una señal de que algo en tu estructura le está haciendo perder el tiempo.
Errores y páginas ignoradas
Mira los códigos de respuesta que recibe el bot. Muchos 404 indican enlaces rotos internos o externos, o páginas borradas sin redirigir. Los 5xx (como 500 o 503) son errores del servidor: si se repiten, Google puede reducir el ritmo de rastreo. Las cadenas de redirecciones 301 o 302 también desperdician visitas.
Lo contrario también cuenta: si una página importante aparece en tu sitemap pero nunca en los registros del bot durante semanas, puede que le falten enlaces internos o que esté muy enterrada. Un ejemplo claro es una página de servicio a la que no enlaza ninguna otra. Ojo: Google no rastrea todas las páginas con la misma frecuencia, así que una ausencia aislada no prueba nada; busca patrones.
Cómo saber que es de verdad Googlebot
El user agent se puede falsificar, y muchos bots lo hacen para colarse. Para verificar uno sospechoso, Google recomienda dos pasos. Primero, una búsqueda DNS inversa de la IP: debería resolver a un dominio como googlebot.com o google.com. Segundo, una búsqueda DNS directa de ese nombre, que debe devolver la misma IP original. En Linux, con host, se hace en dos comandos.
Google también publica listas oficiales de los rangos de IP de sus rastreadores, que puedes cotejar. Hazlo antes de sacar conclusiones o de bloquear nada, porque entre las visitas supuestamente de Google puede haber otros robots.
Qué hacer con lo que descubres
Corrige los 404 que reciban enlaces: restaura la página o redirígela con una 301 a la más parecida. Resuelve los errores 5xx hablando con tu hosting. Acorta las cadenas de redirecciones para que apunten directamente al destino final. Añade enlaces internos hacia las páginas importantes que el bot ignora y comprueba que figuran en el sitemap.
Si el bot pierde el tiempo en URLs inútiles, plantéate bloquear esos patrones en robots.txt o evitar que se generen, con cuidado de no bloquear nada que quieras posicionar. Y repite la revisión cada cierto tiempo para ver si lo que has cambiado ha tenido efecto.
Preguntas frecuentes
¿Necesito herramientas de pago para analizar los logs?
No. Para una web pequeña o mediana bastan los registros descargados desde tu hosting y un editor de texto o una hoja de cálculo. Las herramientas especializadas ayudan con volúmenes muy grandes, pero no son un requisito.
¿Y si mi hosting no me da acceso a los registros?
Entonces puedes usar el informe de estadísticas de rastreo de Search Console, que resume las peticiones de Google, sus códigos de respuesta y su evolución. Es menos detallado, pero cubre lo esencial.
¿Cada cuánto conviene revisarlos?
Depende del tamaño y de lo cambiante que sea tu web. Una revisión trimestral basta en muchas webs pequeñas; conviene hacerla además después de una migración, un rediseño o una caída de visitas.