Eliminaré cualquier sitio web que proporcione y procesaré datos en Excel.

Soy ingeniero de software de profesión, con más de 8 años de experiencia en desarrollo de aplicaciones web y más de 4 años creando crawlers para extraer datos de sitios web. Todos los scrappers (crawlers) los hice en PHP. Utilicé HTML DOM simple, PHP Dom Document, analizadores DOM, xpath, etc., para analizar y obtener datos HTML. El procesamiento de datos incluía salidas en formato json, xml y hojas de Excel. También usé librerías de PHP como curl junto con encabezados y parámetros para obtener el contenido de las páginas. Utilicé técnicas de optimización para minimizar llamadas a sitios de terceros y así hacer la funcionalidad más rápida.

Escribir scrappers se basa en la estructura de los sitios web a ser rastreados. La estructura varía de un sitio a otro. Revisaré la estructura del sitio.

Para maximizar la obtención de datos, aplicaré XPATH, expresiones regulares y técnicas DOM para recuperar datos precisos y en la mayor cantidad posible. El script en PHP se ejecutará automáticamente en el sitio web. Este script será óptimo en términos de tiempo y rendimiento.