Google, Yahoo, MS limpian la Red

Google, Yahoo, MS limpian la Red

Los grandes de Internet se han puesto de acuerdo por una vez. Los responsables de Google, Yahoo! y Microsoft han anunciado que van a promover conjuntamente un estándar para eliminar páginas web duplicadas de los servidores de Internet. El objetivo es conseguir limpiar la web de forma que los motores de búsqueda de estas grandes compañías puedan funcionar más eficazmente actuando sobre una base de datos más reducida.

 

Indexar la inmensa cantidad de páginas web que existen en Internet supone un esfuerzo tecnológico y económico muy grande para los principales buscadores y toda iniciativa para que esta tarea sea más eficaz y menos costosa resulta muy valiosa. Tanto que los responsables de los principales motores de búsqueda del mundo se han puesto de acuerdo para eliminarlas páginas basura que se encuentran en Internet. Se trata de borrar las páginas web duplicadas de todos los servidores del mundo a través de un nuevo estándar que permitirá el control de este tipo de incidendias.

 

 

El problema se presenta en los servidores que contienen muchas páginas web como servidores de comercio electrónico que tienen múltiples direcciones web apuntando a una misma página. Esto hace que las bases de datos de los motores de búsqueda dupliquen las entradas, pues consideran cada dirección como una página web independiente cuando en realidad se trata de la misma. La consecuencia es que las ya inmensas bases de datos de estos buscadores puede verse incrementadas incluso en un 20 por ciento. Una cantidad nada despreciable dado el coste en computación, almacenamiento y mantenimiento de los imponentes centros de datos que soportan estos servicios.

 

 

Según informa el New York Times, han sido ingenieros de Google los que encontraron una sencilla forma de solucionar este problema proporcionando a los webmasters herramientas sencillas para indicar cuándo una dirección web es un duplicado y marcar qué dirección debe tomar el buscador como única para no crear duplicados en la base de datos. Tanto Yahoo! como Microsoft se han adherido inmediatamente a una propuesta que puede suponer un gran ahorro en costes y repercutir en búsquedas más rápidas y eficaces. Yahoo! ya propuso en su día (y patentó) un sistema para paliar este problema con URL dinámicas.

Aunque los buscadores ya implementaban sus propias técnicas para eliminar direcciones duplicadas en las bases de datos, la importancia de esta idea es que el trabajo de marcar los duplicados se deja en mano de los webmasters y no de los buscadores. Además el que los tres principales buscadores se pongan de acuerdo hace que la implantación de este estándar sea más factible, pues pueden ejercer una presión muy grande sobre los responsables de páginas web para que lo adopten.

 

  • Share This