Construyo scrapers que siguen funcionando después de la primera semana.
Cualquiera puede escribir un bucle de requests que funcione una vez. La parte que toma tiempo es todo lo que viene después: el sitio cambia su marcado, caduca el inicio de sesión, una respuesta llega con 200 y captcha en el cuerpo, la paginación se detiene en silencio en la página 40.
Lo que hago al respecto:
- Validar la respuesta, no solo el código de estado. Un 200 con una lista vacía es un fallo, no un éxito.
- Guardar respuestas crudas antes de parsear, para que cuando algo parezca mal puedas volver a parsear sin volver a realizar el raspado.
- Tomar pausas y reintentar en las fallas que lo merecen, y fallar alto en las que no.
- Errores estructurados, para saber si se rompió o si el sitio cayó.
He ejecutado un raspado de 100 productos en unos 10 segundos desde una sola página, y he escrito procesadores por lotes que manejan una docena de archivos a la vez sin perder los originales.
Envíame la URL y qué campos necesitas. Si el sitio está detrás de un inicio de sesión, dímelo y solucionaremos el acceso antes de cotizar.