Recopilaré datos de cualquier API o sitio web en una base de datos limpia

Parte de la información se ha traducido automáticamente.

Lituania

Hablo Ruso, Inglés

Tuberías de datos en Python, web scraping y automatización de Excel

Construyo Python que recopila datos y elimina trabajo manual: recolectores de API y web que siguen funcionando (reintentos, reanudar después de un fallo, verificaciones diarias de integridad), datos d...
Acerca de este Servicio

Escribo Python que obtiene tus datos y sigue obteniéndolos, ya sea desde una API REST, un endpoint público o una página sin API.


Lo que obtienes:

  • Un script que posees y puedes ejecutar tú mismo, no una caja negra en mi máquina
  • - Salida donde la necesites: CSV, Excel, SQLite o tu propia base de datos
  • - Reintentos, reanudar después de un fallo y una revisión diaria de integridad que te avisa cuando una fuente se quedó en silencio
  • - Una breve nota sobre qué cubre los datos y dónde no son confiables, que es la parte que la mayoría de los vendedores omiten

He ejecutado recolectores 24/7 contra APIs de intercambio para cuatro deportes y contra endpoints de intercambios de criptomonedas, y procesado conjuntos de datos de millones de registros. Mi código y explicaciones están públicos en GitHub.


Antes de escribir cualquier cosa, confirmo el alcance por escrito: fuentes, campos, formato, programación. Si un sitio bloquea el acceso automatizado o los datos están detrás de un login, te lo digo antes de que pagues, no después.

Tecnología:

Python

•

Excel

•

Pandas

Tipo de información:

Moneda y acciones

•

Comparación de precios

Técnica:

Automatizado