Googlebot ahora puede rastrear desde IPs no US

Desde el lanzamiento del crawler Googlebot (a finales del siglo pasado), las peticiones de este bot parecían proceder de una IP asociada (según el registro RIPE) a una geolocalización estadounidense.

La lista de IPs de Googlebot es bien conocida y oficial:

https://developers.google.com/static/search/apis/ipranges/googlebot.json

Recordemos aquí que 5 autoridades regionales (incluida la RIPE NCC para Europa) gestionan la asignación de direcciones IP a los actores de Internet. Y, por cierto, registran la distribución de las direcciones IP por países.

la herramienta ripe ip map del ripe permite visualizar los resultados de los comandos traceroute22 hacia las ips
La herramienta RIPE IP Map del RIPE permite visualizar los resultados de los comandos “traceroute” hacia las IPs.

Hasta ahora, todas las IP de Googlebot estaban geolocalizadas en EEUU:

ejemplo de una ip oficial de googlebot
Ejemplo de una IP oficial de Googlebot: está bien geolocalizada en EE.UU. (pero no es posible que tenga un centro de datos en medio de Cheney Park en Kansas.

Google ha reservado nuevas IPs fuera de EEUU para rastrear la red

Gary Illyes presentó esta nueva función en una conferencia en Singapur y luego tuvo la oportunidad de comentarla en Twitter.

Por ahora, es sólo una posibilidad. Sin duda, Google ha reservado nuevas IP fuera de EEUU. Aparecen en el archivo JSON oficial.

El objetivo de este cambio no es rastrear sistemáticamente los sitios web de un país desde IPs geolocalizadas en este país. Se trata de poder rastrear los sitios que bloquean las IP americanas, o presentan contenidos diferentes según la geolocalización del país.