Mil millones de búsquedas al día en Twitter

En un principio el motor de búsquedas en tiempo real de Twitter estaba basado en la tecnología de Summize, una compañía que esta plataforma compró en 2008. Pero desde entonces, Twitter ha vivido un crecimiento fenomenal: más de 1.000 tweets por segundo y 12.000 búsquedas por segundo , logrando algo más de 1.000 millones de búsquedas por día . El equipo técnico de Twitter ha estado buscando algunas alternativas porque «escalar el antiguo sistema basado en MySQL se ha convertido en un reto muy grande».

Así que Twitter se ha adaptado a una nueva arquitectura de búsquedas, utilizando el motor de código abierto de Lucene. Sin embargo, a pesar de la fuerza de Lucene, este motor tiene algunos defectos relacionados con las búsquedas en tiempo real , por lo que la red de microblogging ha reescrito partes de su arquitectura, pero de forma que siga siendo compatible con las API de Lucene. Estos cambios incluyen:

-Desempeño mejorado del recolector de basura.

-Estructuras de datos y algoritmos libres de bloqueo.

-Listas de publicaciones que son atravesables en orden contrario.

-Ayudas para completar búsquedas más eficientes.

Esta nueva arquitectura de búsquedas es más rápida y más escalable, y utiliza sólo el 5% de los recursos disponibles del backend , caminando en la dirección correcta para lograr el objetivo del equipo de ingenieros de construir búsquedas que soporten ordenes de magnitud de carga superiores.