Construiré pipelines de datos en BigQuery con Airflow en Google Cloud

Parte de la información se ha traducido automáticamente.

Pakistán

Hablo Inglés, Urdu

3 pedidos completados

Ingeniero de datos para BigQuery, Airflow y herramientas para agentes AI

Soy un ingeniero de datos que crea pipelines de producción en Google Cloud. Manejo 12 DAGs de Airflow en Cloud Composer que ingestan datos diarios de 9+ plataformas de marketing y CRM en BigQuery, y c...
Acerca de este Servicio

¿Necesitas pipelines de datos automatizados y fiables en Google Cloud? Diseño y despliego pipelines ETL/ELT de grado de producción que cargan tus datos en BigQuery según un calendario, sin trabajo manual.


Lo que obtendrás:

  • DAGs de Apache Airflow en Cloud Composer
  • Funciones en la nube de Python (Gen2) para extracción de API
  • Aplicación de esquemas estrictos de BigQuery y validación de datos
  • Credenciales protegidas en Secret Manager
  • Gestión de reintentos y registro de errores claro
  • CI/CD opcional que despliega solo DAGs cambiados
  • Documentación para que tu equipo lo gestione


¿Por qué yo? Actualmente manejo Airflow en producción con 12 DAGs consumiendo datos de 9+ plataformas usando un patrón de pipeline reutilizable, así obtienes una estructura probada, no un experimento.

Envíame tus fuentes de datos y el destino antes de hacer el pedido y confirmaré el alcance y la compatibilidad.

Plataforma de destino:

Google BigQuery

Herramientas y plataformas:

Google Cloud Dataflow