La última jugada en SEO no viene de Google ni de OpenAI, sino de los propios hostings. Sin previo aviso, varios proveedores han decidido cerrar la puerta a los crawlers de IA. No es tu robots.txt, no es una decisión editorial: es tu servidor el que responde con un 403 Forbidden antes de que ChatGPT o Claude puedan siquiera asomarse. Y mientras tanto, tú sigues invirtiendo tiempo y presupuesto en optimizar cada detalle de tu estrategia para ganar visibilidad en esas mismas IA.
El contraste lo muestran bien las capturas. En el caso del New York Times, lo que ocurre es un portazo en la cara: el servidor devuelve un 403 directo a los bots de OpenAI, Anthropic y Perplexity. No importa lo que diga el archivo robots.txt, la decisión se toma antes de leerlo. Eso es un bloqueo duro, un muro digital que no admite negociación.
El otro escenario es menos violento, pero igual de definitivo: el bloqueo blando. Aquí el servidor responde con un 200 OK, pero es el robots.txt el que impone la prohibición de paso a los crawlers de IA. Es como poner un cartel de no pasarás: no es que no puedan entrar, es que se espera que respeten la instrucción. Técnicamente es más transparente, aunque el resultado sea idéntico: invisibilidad en los modelos de lenguaje.
El problema es que esa diferencia se pierde fácilmente en la práctica. Ahí entra el sesgo de falsa seguridad: creemos que si en nuestro robots.txt no aparece ninguna prohibición, estamos dentro del radar de las IAs. Pero no. Tu hosting puede estar bloqueando por defecto y todo tu esfuerzo por ser visible en los LLMs queda en la nada. Es como gastar años en SEO para Google y descubrir que alguien apagó tu servidor en Search Console sin que lo supieras.
Las consecuencias son silenciosas pero enormes. Estás convencido de que optimizar titles, estructurar tu contenido y fortalecer tu SEO de popularidad te abrirá espacio en los resultados generativos… pero si los bots nunca ven tus páginas, no entrenan con ellas, no te citan y no te muestran. Inviertes en alimentar la IA, pero no pasas ni de la primera puerta. Y lo más cruel es que tu competencia sí puede estar dentro, apropiándose de esa visibilidad que tú creías estar construyendo.
La única salida es revisar, no asumir. Testear regularmente qué reciben los bots de IA cuando llegan a tu sitio, analizar logs de servidor y decidir si quieres bloquear o abrir. Porque aquí ya no se trata solo de SEO técnico. Aquí la pregunta es si estás dispuesto a desaparecer del mapa de las IAs por una configuración de hosting que nunca pediste.
Y si quieres dejar de adivinar, prueba con herramientas como AI Bot Analyzer, que simulan la visita de los crawlers de IA y te muestran en segundos si estás abierto… o si tu hosting ya decidió bloquearte.
