Construiré una canalización de datos ETL automatizada usando Python y Airflow

Deja de tomar decisiones de negocio con datos desordenados y poco confiables.

Soy un ingeniero de datos especializado en el Modern Data Stack. Construyo pipelines de datos robustos, idempotentes y completamente automatizados que transforman entradas crudas y no estructuradas en datos limpios y listos para análisis.

Ya sea que necesites un script simple para mover datos de API o un lago de datos completo con "Medallion Architecture", diseño sistemas que escalan.

Mi experiencia y stack tecnológico:

• Orquestación: Apache Airflow
• Streaming en tiempo real: Apache Kafka
• Transformaciones y calidad: dbt Core (pruebas automatizadas y modelado de datos)
• Almacenamiento: PostgreSQL, AWS S3, MinIO
• Infraestructura: Docker Compose, Terraform (AWS EC2, RDS)
• Visualización: Integraciones con Metabase

Lo que puedes esperar:

• Fiabilidad: Pipelines que manejan fallos de forma elegante con reintentos automáticos.
• Calidad de datos: Pruebas integradas en dbt (verificaciones de null, unicidad) para que solo consultes datos precisos.
• Entrega limpia: Código completamente en contenedores (Docker) con documentación completa (README.md) para facilitar su despliegue en tus propios servidores.

Por favor, envíame un mensaje antes de hacer un pedido para que podamos discutir tus fuentes de datos y requisitos comerciales específicos.