Recopilaré datos de cualquier API o sitio web en una base de datos limpia
Tuberías de datos en Python, web scraping y automatización de Excel
Acerca de este Servicio
Escribo Python que obtiene tus datos y sigue obteniéndolos, ya sea desde una API REST, un endpoint público o una página sin API.
Lo que obtienes:
- Un script que posees y puedes ejecutar tú mismo, no una caja negra en mi máquina
- - Salida donde la necesites: CSV, Excel, SQLite o tu propia base de datos
- - Reintentos, reanudar después de un fallo y una revisión diaria de integridad que te avisa cuando una fuente se quedó en silencio
- - Una breve nota sobre qué cubre los datos y dónde no son confiables, que es la parte que la mayoría de los vendedores omiten
He ejecutado recolectores 24/7 contra APIs de intercambio para cuatro deportes y contra endpoints de intercambios de criptomonedas, y procesado conjuntos de datos de millones de registros. Mi código y explicaciones están públicos en GitHub.
Antes de escribir cualquier cosa, confirmo el alcance por escrito: fuentes, campos, formato, programación. Si un sitio bloquea el acceso automatizado o los datos están detrás de un login, te lo digo antes de que pagues, no después.
Tecnología:
Python
•
Excel
•
Pandas
Técnica:
Automatizado
FAQ
Traducción automática
¿Seguirá funcionando el script si el sitio web cambia?
Los pequeños cambios en el diseño los arreglo dentro de la ventana de revisión. Para estabilidad a largo plazo, recomiendo una fuente API cuando exista, y te aviso antes de comenzar si un sitio parece frágil.
¿Recopilas datos de sitios que no permiten hacerlo?
No. Primero reviso los términos de uso y robots.txt y te digo si una fuente está prohibida. Prefiero perder el pedido que entregarte un script que bloquee tu cuenta.
¿Obtengo el código fuente?
Sí, en todos los paquetes. Recibes un script Python ejecutable y una breve nota de configuración, para que puedas ejecutarlo tú mismo, modificarlo o entregárselo a tu propio desarrollador más tarde.
