Explorar las categorías
Explora
Fiverr Pro
Español
$
USD
Haré pipelines ETL automatizados en Python desde APIs REST hacia BigQuery
Ingeniero de datos en Python para pipelines de ETL en BigQuery e integraciones con APIs
Construyo tuberías de datos automatizadas que sustituyen exportaciones manuales e informes en hojas de cálculo. Soy ingeniero de datos en Python con más de 3 años de experiencia en producción moviendo...
Acerca de este Servicio
¿ tienes tus datos atrapados en APIs, bases de datos y hojas de cálculo que alguien exporta manualmente cada semana? Yo lo reemplazo con un pipeline automatizado en Python que los carga de forma confiable en BigQuery.
Soy ingeniero de datos en Python con más de 3 años de experiencia. En mi puesto actual diseño y ejecuto pipelines de producción que extraen datos de múltiples APIs de plataformas hacia un almacén en BigQuery.
Lo que desarrollo
- ETL en Python desde REST APIs, PostgreSQL/MySQL, CSV/Excel o Google Sheets hacia BigQuery
- Cargas incrementales con fusiones por clave para evitar filas duplicadas en re-ejecuciones
- Reintentos, manejo de limitación de tasa, registro de logs y validación de datos
- Programado con Cloud Scheduler y Cloud Run, o cron en tu servidor, empaquetado en Docker
- Tablas de reporte SQL limpias para Looker Studio o cualquier herramienta de BI
Cómo funciona
- Compartes la documentación de la API o datos de muestra y das acceso a través de tu propia cuenta de servicio
- Confirmo campos, programo y empaquilo antes de empezar
- Recibes el código, una guía de configuración y un pipeline corriendo en tu proyecto
No incluye: licencias de conectores de pago, acceso a API que no posees o monitoreo continuo (ver extras).
Escríbeme con tu fuente y destino y te recomendaré el paquete adecuado.
Plataforma de destino:
Google BigQuery
•
Postgresql
•
mySQL
Herramientas y plataformas:
Otros
FAQ
Traducción automática
¿Qué necesitas de mí para empezar?
Documentos de API o archivos de muestra, los campos que necesitas y tu proyecto de BigQuery. Otorga acceso a través de una cuenta de servicio o OAuth en tu propia cuenta con los permisos mínimos necesarios. Nunca me envíes la contraseña de tu cuenta principal.
¿Puedes trabajar con bases de datos distintas a BigQuery?
Sí. También cargo datos en PostgreSQL y MySQL, y he automatizado migraciones de Oracle PL/SQL a PostgreSQL con Python.
¿El pipeline seguirá funcionando tras la entrega?
Las canalizaciones Standard y Premium están programadas, son seguras para volver a ejecutarse y registran cada ejecución; Premium también envía alertas de fallos. Si la API de origen cambia más tarde, hay actualizaciones disponibles mediante el extra de soporte de 30 días o una oferta personalizada.
¿Qué fuentes de datos puedes conectar?
Cualquier API REST o GraphQL con documentación y credenciales, PostgreSQL, MySQL, CSV/Excel, Google Sheets y Cloud Storage. Si tu fuente no tiene API oficial, envíame un mensaje primero y confirmaré si es factible.
¿Necesito tener mi propia cuenta de Google Cloud?
Sí. la canalización se ejecuta en tu proyecto de GCP, así que eres dueño del código, de los datos y de la facturación. Te guiaré en cualquier configuración necesaria.
¿Cuánto me costará BigQuery?
Depende del volumen de datos, el almacenamiento, las consultas y la frecuencia de actualización. Particiono y agrupo tablas y diseño las consultas para mantener los costos bajo control. La facturación queda en tu propia cuenta de Google Cloud.
¿Con qué frecuencia puede actualizarse la información?
Por hora, diario o en un horario personalizado, limitado por los límites de tasa de tu API de origen. El streaming en tiempo real es un presupuesto personalizado.
¿Cuánto historial de datos puedes cargar?
Tanto como lo permita la API de origen. Premium incluye un backfill de 12 meses, y el extra de historial de backfill añade hasta 24 meses más.
