Twitter potencia sus búsquedas

Twitter potencia sus búsquedas
7 de octubre, 2010

El servicio de microblogging no solo ha modificado su diseño con un nuevo aspecto que ya han estrenado la mayor parte de los usuarios, sino que ahora sus creadores nos anuncian la puesta en marcha de un nuevo motor de búsqueda interno. El antiguo motor estaba desarrollado por la empresa Summize, pero los problemas al escalar el sistema MySQL habían crecido, y hace seis meses pusieron en marcha una iniciativa para desarrollar una nueva arquitectura de búsquedas, que ahora hace su debut.

 

En el artículo del blog oficial de Twitter nos explican cómo para lograr rediseñar la arquitectura de búsquedas se basaron en Lucene, un motor de búsquedas basado en Java, que tomaron como punto de partida.

 

 

Sin embargo los requisitos eran demasiado altos para Lucene, ya que en Twitter se realizan del orden de 1.000 millones de búsquedas diarias, y querían precisamente estar preparados para el futuro, con lo que necesitaban un orden de magnitud más a la hora de soportar cargas de búsqueda.

 

Por esa razón reescribieron buena parte de Lucene para que ofreciese las características más importantes en las búsquedas en tiempo real, y entre los cambios implementaron mejoras en el rendimiento del recolecctor de basura, o la finalización temprana de las queries. 

 

Esos cambios acabarán siendo compartidos con todos los usuarios interesados en el motor por separado, ya que algunos ya están en la rama de desarrollo de Lucene, y otros irán integrándose más adelante.

 

El resultado parece espectacular: las búsquedas solo usan el 5% de los recursos de sus centros de datos, y el nuevo indexador puede indexar 50 veces más tweets por segundos que el que tenán hasta ahora. 

 

Los usuarios no notarán en primer término esas mejoras, pero este cambio en la arquitectura del buscador interno de Twitter garantiza la mejora de este proceso a corto y medio plazo.

 

  • Share This