Crearé una araña scrapy reutilizable para recuperar los datos que necesitas

Se pueden recopilar y utilizar prácticamente todos los datos de un sitio web público si es necesario, pero este proceso se vuelve mucho más difícil si los propietarios del sitio no ofrecen algún tipo de API para obtener datos limpios fácilmente.

Problemas como ese se pueden resolver mediante web scraping , lo que significa que escribimos código que obtiene los datos, los limpia y preprocesa y tal vez los envía a algún lugar, o simplemente los almacena en un archivo o base de datos .

Durante los últimos años, tuve la oportunidad de trabajar con muchos sitios web con propósitos similares, construí decenas de arañas problemáticas , arreglé algunas e incluso las integré por completo con backends de sitios web populares existentes como Django o Flask, con la capacidad de obtener datos casi en tiempo real.

Si tiene un problema o una tarea similar, considere contactarme, tal vez podamos automatizar completamente la parte de raspado web e integrarla a sus sistemas de backend existentes, o escribir el nuestro propio, para hacer su trabajo más fácil , rápido y eficiente .