La desaparición de los directorios web no fue un accidente ni una decisión arbitraria. Fue la consecuencia lógica de un problema de escala que ningún equipo humano podía resolver.
En 1994, cuando Yahoo! lanzó su directorio, había aproximadamente 3.000 sitios web en internet. Un equipo pequeño podía revisarlos, clasificarlos y mantenerlos actualizados. En 2000 había 17 millones. En 2010, 255 millones. La aritmética es simple y brutal: el modelo humano de organización de la web tenía una fecha de caducidad desde el primer día.
El problema de escala que los mató
No desaparecieron de golpe. Murieron lentamente, por acumulación de problemas que ninguno de ellos pudo resolver solo.
Problemas de escalabilidad
~3.000 sitios
~17 millones
~64 millones
~255 millones
Por qué Google ganó la batalla
Automática
Ilimitada
PageRank
Algorítmico
Datos de crecimiento web: Netcraft Web Server Survey y Hobbes Internet Timeline. Los directorios llegaron a tener equipos de cientos de editores, pero nunca pudieron competir con el crecimiento exponencial de la web.
Las cuatro razones del colapso
La primera fue el crecimiento exponencial de la web. Los directorios dependían de editores humanos para clasificar cada sitio. Podían contratar más editores, pero nunca los suficientes para mantener el ritmo de crecimiento. DMOZ llegó a tener más de 90.000 voluntarios editando el directorio. Aun así, muchas categorías quedaban desactualizadas durante meses.
La segunda fue la superioridad algorítmica de Google. PageRank no necesitaba editores. Aprendía de los propios enlaces de la web, que actuaban como votos de confianza entre sitios. Cuanto más crecía internet, más datos tenía Google para mejorar sus resultados. Los directorios, en cambio, se volvían más difíciles de mantener cuanto más crecía la web.
La tercera fue el coste de mantenimiento. Un directorio bien gestionado requería redactores, revisores, coordinadores de categorías y sistemas para detectar sitios desaparecidos o cambiados. Google indexaba millones de páginas con servidores, no con personas. La diferencia de coste por resultado era insostenible para los directorios.
La cuarta, y quizá la más decisiva, fue la incapacidad para responder a búsquedas específicas. Un directorio te decía qué categorías existían. Google te respondía a lo que tú preguntabas, con la precisión que mejoraba cada mes. La experiencia de usuario no tenía comparación.
Lo que sobrevivió de los directorios
Los grandes directorios generalistas murieron. Pero la lógica que los sustentaba sobrevivió en formatos más pequeños y especializados. Los directorios de abogados, de médicos, de restaurantes, de empresas locales siguen existiendo hoy porque en nichos concretos la curaduría humana sigue aportando algo que el algoritmo no garantiza: criterio editorial sobre la calidad real del servicio.
Y en SEO, el concepto de directorio resurgió en forma de citas locales. Estar en Yelp, en Google Business, en TripAdvisor o en directorios sectoriales sigue siendo una señal de autoridad que Google valora. La forma cambió. El principio es el mismo que tenía Yahoo! Directory en 1994.