Google ha dado un gran giro a su documentación sobre crawlers, y no es solo una pequeña actualización. Con esta reestructuración, Google ha hecho que la información técnica sobre sus bots sea mucho más accesible y, sobre todo, fácil de entender para los que trabajamos en SEO.
¿Qué cambió exactamente y por qué es importante?
¿Por qué Google ha renovado su documentación sobre crawlers?
Google no hizo esta actualización porque sí. La documentación anterior había crecido tanto que se estaba volviendo complicada de manejar, tanto para ellos como para nosotros, los usuarios. Imagínate tener que buscar información específica entre párrafos y párrafos de datos técnicos sin ninguna separación clara. Eso era lo que ocurría con la antigua página sobre los “rastreadores“. ¡Un verdadero dolor de cabeza!
Así que Google decidió hacer lo que muchos de nosotros hacemos cuando un sitio web se vuelve inmanejable: lo dividieron en varias páginas. Ahora, en lugar de una larga lista de bots, tenemos tres secciones principales que nos permiten navegar más fácilmente y encontrar la información que necesitamos de manera rápida.
Las tres nuevas páginas sobre los crawlers son más fácil de digerir
Ahora que la documentación está organizada, Google nos presenta tres categorías de crawlers:
- Crawlers comunes: Aquí está lo clásico, como Googlebot y sus variantes (Imágenes, Videos, etc.). Son los bots de siempre que obedecen las reglas de
robots.txty que trabajan para indexar tu sitio en los resultados de búsqueda. - Crawlers para usos específicos: Aquí están los bots que tienen trabajos más especializados, como los que gestionan anuncios (AdsBot, por ejemplo). Estos bots no se rigen siempre por las mismas IP que los bots generales de Google, pero tienen tareas muy específicas para productos como Google Ads y AdSense.
- Fetchers activados por usuarios: Esta sección es para los bots que se activan cuando un usuario lo solicita. Aquí entran, por ejemplo, Google Site Verifier o Google Read Aloud. Lo interesante de estos bots es que no necesariamente siguen las reglas de
robots.txt, lo que tiene sentido ya que son activados por el usuario, no por Google directamente.
¿Qué más ha cambiado en la nueva documentación?
Google no solo reorganizó el contenido. También agregó algunos detalles técnicos interesantes que antes no estaban claros.
Por ejemplo, ahora sabemos que los crawlers de Google soportan tres tipos de codificación de contenido: gzip, deflate y Brotli (br). Esto significa que los administradores de sitios pueden tener una mejor comprensión de cómo sus servidores y los bots de Google interactúan. Además, ahora se menciona el uso de HTTP/2, lo cual es un avance importante en términos de eficiencia y velocidad de rastreo. ¡Puntos extra para la optimización del servidor!
Cambios en las cadenas de User-Agent: más bots, más control
Otro cambio clave que trajo esta actualización es la inclusión de nuevas cadenas de User-Agent. Por ejemplo, se añadió una nueva para GoogleProducer, que antes no estaba documentada, y se actualizó la información de bots como Google-InspectionTool.
Esto no solo es útil para los que administran los archivos robots.txt, sino también para quienes buscan un control más granular sobre cómo los bots interactúan con sus sitios. Saber qué bot hace qué cosa y cómo puedes gestionarlo te da una ventaja competitiva en la optimización SEO.
Crawling con HTTP/2
Se ha hecho una nueva mención sobre el uso de HTTP/1.1 y HTTP/2 en las solicitudes de rastreo. Aunque la documentación anterior ya mencionaba el protocolo HTTP/1.1, el soporte para HTTP/2 es una adición reciente.
Antes: La documentación no mencionaba HTTP/2.
Después: Google ahora especifica que sus rastreadores pueden usar HTTP/2, un protocolo más moderno y eficiente.
La clave del éxito es hacer la vida más fácil a los usuarios
¿Por qué Google hizo este cambio? Sencillamente, la página de resumen de los crawlers estaba creciendo sin control, y eso afectaba tanto la capacidad de Google para actualizar la información como nuestra habilidad para encontrar lo que necesitábamos.
Ahora, con esta división en subtemas, la información es más manejable y mucho más fácil de comprender. Esto también prepara el terreno para que Google pueda seguir añadiendo contenido técnico sin saturar la página principal.
Una pequeña gran revolución para SEO
Este cambio en la documentación de crawlers de Google no es solo una reestructuración, es una mejora considerable en cómo accedemos y entendemos la información técnica sobre los bots. Si eres un SEO profesional o un administrador de sitios, estas actualizaciones te ayudarán a optimizar mejor tu sitio y a controlar de manera más eficiente cómo interactúan los crawlers de Google con él.
Al final del día, esta actualización nos facilita el trabajo, nos da más control y mejora la forma en que interactuamos con Google.
