Construiré pipelines de datos con Apache Airflow

Paquete de inicio de Apache Airflow

Tres grandes problemas con Apache Airflow,

1. Poner en funcionamiento la infraestructura
2. Aprender las mejores prácticas e implementarlas para poder escalar el sistema más rápido
3. La ingestión incluye mover datos hacia/desde

• archivos grandes
• Página web/Aplicación
• S3 o GCS
• El almacén (Redshift, Oracle, MySQL, Postgres)
• Sistema externo (Instagram, Zapier, Twilio)

He trabajado en sistemas Airflow durante los últimos tres años como ingeniero de software y consultor, y conozco a fondo un sistema Airflow.

En este paquete de inicio te ayudaré.

• Configura tu infraestructura Airflow (Docker/Kubernetes/EC2, tú decides)
• Configuración básica del proyecto para agregar nuevas tuberías y tiempos de prueba
• Diseño y desarrollo de tres oleoductos

Envíame un DM y programaremos una llamada de estrategia gratuita de 40 minutos y descubriremos qué funciona para ti.