El cajón donde va a morir el estudio SEO que no te conviene ver

Hay 20 SEOs que leyeron el estudio de Backlinko. El estudio dice que los sitios en posición 1 tienen en promedio 3.8 veces más backlinks que los del resto de la primera página. Los 20 se lanzan a hacer link building. En 19 sitios no pasa nada relevante. En uno sube. ¿Cuál publica un post en LinkedIn?

Mismo juego, otro estudio. Ahora dice que los artículos de más de 1,800 palabras rankean mejor. Los 20 alargan su contenido. En 19 sitios no pasa nada. En uno sube. ¿Cuál publica un post?

Eso tiene nombre. En ciencia se llama sesgo de publicación, o efecto cajón. Y en SEO nadie habla de eso.

El efecto cajón en SEO

20 equipos aplican la misma táctica. ¿Quién publica?
20 SEOs aplican la misma táctica durante 3 meses
resultados
95% de los casos
19
no pasó nada relevante
El cajón
nadie lo abre nunca
5% de los casos
1
subió en rankings
“Hice esto y subí”
hilo viral · 2.4K likes

El cajón del SEO no está hecho de papers rechazados

En ciencia, el efecto cajón funciona así: cuando un estudio encuentra un resultado positivo y espectacular, se publica, se cita y se reparte por todos lados. Cuando no encuentra nada, termina archivado. En maya yucateco, la misma palabra –kax– significa buscar y encontrar, como si el hallazgo fuera la única conclusión posible de cualquier búsqueda. De ahí viene esa frase que en Yucatán se dice con total naturalidad: “lo busqué, lo busqué y no lo busqué.” Busqué, busqué, y no encontré nada. Un resultado que no tiene nombre porque, en esa lógica, simplemente no existe. La literatura científica funciona igual: deja de ser un reflejo fiel de la realidad y se convierte en una vitrina que solo enseña los tiros que entraron.

En SEO el mecanismo es el mismo, pero el cajón es diferente. No está hecho de artículos rechazados por una revista académica. Está hecho de pruebas que nadie tuiteó porque salieron planas, de experimentos que una agencia corrió durante tres meses y prefirió no mencionar en su siguiente webinar, de sitios donde el link building no movió nada y donde alargar los artículos a 2,000 palabras solo aumentó el tiempo de escritura.

Ese cajón existe. Está lleno. Y nadie lo abre porque el no-resultado no genera engagement. Quizá este artículo también termine ahí.

Y aquí el sector tiene un agravante que la ciencia no tiene. Al menos el laboratorio que publica un hallazgo dudoso pasó por revisión de pares. El que publica el “case study” de turno pasó por su propio criterio y por el algoritmo de alcance de LinkedIn. El filtro no es la calidad metodológica, es la capacidad de generar clics. Que es, dicho sea de paso, justo lo que decimos que combatimos.

Ioannidis llega a la fiesta y nadie lo invitó

En 2005, un investigador de Stanford llamado John Ioannidis publicó un ensayo en PLOS Medicine con un título que parece diseñado para arruinar congresos: “Why Most Published Research Findings Are False“. La mayoría de los hallazgos publicados, sostiene, son simplemente falsos. El texto se volvió uno de los pilares de la metaciencia, la ciencia que estudia cómo se hace la ciencia. Metaciencia. O, en cristiano y sin tanta solemnidad, metaSEO.

Su argumento es una lista de condiciones bajo las cuales un hallazgo tiene más probabilidad de ser falso. Conviene leerla despacio porque parece escrita pensando en el SEO.

Un hallazgo es menos confiable con muestras pequeñas.

En SEO: el experimento que corriste en tu sitio, con tu nicho, tu historial y tu competencia particular. Un hallazgo es menos confiable cuando los efectos medidos son pequeños.

En SEO: el “+4% de CTR” presentado como prueba de que algo funciona. Un hallazgo es menos confiable cuando se prueban muchas variables a la vez. En SEO: el “hice 12 cambios en enero y en marzo subí”, donde nadie sabe qué movió qué. Un hallazgo es menos confiable cuando hay flexibilidad para cambiar el método sobre la marcha.

En SEO: cambiar la métrica de éxito cuando la original no da el resultado esperado. Un hallazgo es menos confiable cuando hay interés económico de por medio.

En SEO: el estudio publicado por la herramienta que vende justo la solución que el estudio recomienda. Y un hallazgo es menos confiable cuando muchos equipos compiten por encontrar el mismo resultado llamativo. En SEO: cada ponente de cada conferencia buscando el dato que nadie ha dicho todavía.

Lee eso con el estudio de Backlinko sobre factores de ranking en la cabeza. Marca todas las casillas.

Las 6 condiciones de Ioannidis

Cuando un hallazgo es probablemente falso – aplicado al SEO
Condición 1
Muestra pequeña
Estudios con pocos sujetos producen estimaciones inestables y no generalizables.
En SEO
“Lo probé en mi sitio” – un sitio, un nicho, un momento del tiempo.
Condición 2
Efecto pequeño
Cuando la señal es débil, el ruido estadístico la contamina fácilmente.
En SEO
“+4% de CTR” presentado como prueba definitiva de que algo funciona.
Condición 3
Múltiples variables
Probar muchas relaciones a la vez infla matemáticamente los falsos positivos.
En SEO
“Hice 12 cambios en enero y en marzo subí.” ¿Cuál movió qué?
Condición 4
Flexibilidad de método
Cambiar la métrica de éxito post-hoc infla artificialmente los resultados.
En SEO
Cambiar la métrica cuando la original no da el resultado esperado.
Condición 5
Interés económico
El conflicto de interés sesga el diseño y la interpretación del estudio.
En SEO
El estudio lo publica la herramienta que vende la solución que recomienda.
Condición 6
Competencia por el dato
Muchos equipos buscando el mismo hallazgo aumentan el ruido colectivo.
En SEO
Cada ponente buscando el dato que nadie ha dicho aún en su siguiente conferencia.
El estudio de Backlinko marca las 6 casillas.
Ioannidis (2005) “Why Most Published Research Findings Are False” – PLOS Medicine

Hay que ser honestos con el matiz. El propio ensayo de Ioannidis ha recibido críticas – su tono se describió como dramático, y hay quien advierte que vuelve a la gente innecesariamente cínica sobre la ciencia. Goodman y Greenland publicaron en 2007 una respuesta donde apuntaron que la demostración matemática del paper tiene cierta circularidad. O sea: ni siquiera el estudio que dice que la mayoría de los estudios son falsos se libra del escrutinio. Eso no es una contradicción graciosa. Es exactamente cómo debería funcionar la cosa.

Reproducibilidad, el remedio que el SEO nunca toma

El antídoto contra el cajón no es dejar de hacer estudios. Es la reproducibilidad. Un solo resultado no prueba gran cosa. Cuando se repite varias veces, con equipos distintos, en condiciones distintas, y se llega siempre a la misma conclusión, entonces empieza a contar.

En genética pasó lo que tenía que pasar: de cientos de asociaciones gen-enfermedad que se daban por probadas, al volver a hacer los experimentos solo una fracción mínima aguantó. El resto se evaporó.

En SEO nadie replica nada, y esa es la diferencia de fondo. El estudio de longitud de contenido que dice que 1,800 palabras rankean mejor se hizo en un momento del tiempo, en una muestra de sitios de ciertos nichos, con cierta autoridad, en cierta SERP. Nadie tomó esos mismos sitios dos años después para ver si seguía siendo cierto. Nadie lo replicó en sitios de nicho local, en e-commerce de producto, en portales de empleo. Solo se publicó una vez, circuló, y se convirtió en best practice. Cada quien corre su versión del experimento en su sitio y presenta el resultado como si fuera ley general.

No es replicación, es anécdota con gráfica. Y la gráfica, ya lo sabes, vende más que la prudencia.

Correlación ≠ Causalidad

Backlinko: posición 1 tiene 3.8x más backlinks. ¿Causa o consecuencia?
Datos crudos: Los sitios con más backlinks tienden a estar en posición 1. La correlación existe. Pero correlación no dice nada sobre dirección ni causa.

Aquí entra el sesgo de confirmación a hacer su trabajo sucio. El SEO que ya creía que los backlinks lo son todo va a leer el estudio de Backlinko, lo va a compartir, y va a ignorar los tres estudios que dicen que el efecto es marginal en sitios con baja autoridad de dominio. El que ya creía en el contenido largo va a citar el estudio de longitud y va a ignorar los datos de que en búsquedas transaccionales el contenido corto convierte mejor. Sumas el FOMO de no quedarte fuera de la última táctica y tienes el combustible perfecto: una industria que adopta hallazgos no replicados a la velocidad a la que se vuelven virales, no a la que se vuelven ciertos. La confusión colectiva que el sector produce solo tiene mucho que ver con este mecanismo.

Qué hacer con esto el lunes por la mañana

No es el cinismo la salida. Es el escrutinio.

Cuando leas el próximo “estudio demuestra que”, hazte tres preguntas antes de cambiar tu estrategia. ¿Cuántos sitios se midieron, y de qué tipo? ¿Alguien más lo reprodujo con una muestra distinta? ¿Quién gana algo si tú te lo crees?

Si el estudio de backlinks lo publica la herramienta que vende análisis de backlinks, ya tienes tu respuesta sin abrir la hoja de cálculo. Si el estudio de longitud de contenido se hizo en blogs de marketing y tú tienes un e-commerce de repuestos industriales, también tienes tu respuesta.

El Mínimo SEO Viable también es epistemológico. Hasta ahora lo usamos para decidir qué hacer: qué acciones mueven la aguja y cuáles son ruido que la industria vende como necesario. Pero antes de decidir qué hacer hay unas pregunta más incómodas: ¿cómo sabes que eso funciona?. ¿De dónde sacaste que funciona?. El mínimo viable no es solo hacer lo correcto, es creer solo lo que aguanta una pregunta de seguimiento.” Igual que no persigues cada actualización de Google, no construyes tu operación sobre cada hallazgo que pasa por tu feed. Te quedas con lo que se ha sostenido en el tiempo, replicado por gente distinta en contextos distintos: estructura limpia, intención bien resuelta. Lo demás es otra ilusión que el sector da por cierta, y nadie sabe cuántos cajones se llenaron antes para que ese resultado cayera.

Como decía el video que disparó todo esto: ante un estudio, o ante un “hay un estudio que dice que”, siempre un poco de distancia. Aunque sea ciencia. Si solo se hizo una vez, guarda el recelo. En SEO, donde casi nada se hace dos veces, esa distancia no es escepticismo. Es higiene.