Construiré pipelines de datos en AWS y ETL con python, airflow y dbt

Los pipelines de datos son fáciles de construir y difíciles de mantener en funcionamiento. Construyo los que sobreviven a cambios en el esquema, archivos tardíos y lunes por la mañana.

Soy un ingeniero líder en datos e IA con más de 9 años de experiencia. He desarrollado plataformas de datos en Amazon, Delivery Hero, Goldman Sachs y Orion, y poseo 13 certificaciones en la nube, incluyendo AWS Data Engineer Associate y AWS Solutions Architect.

LO QUE CONSTRUYO PARA TI

Ingesta desde APIs, bases de datos, S3, herramientas SaaS y flujos de eventos

Orquestación en Airflow, Dagster o AWS Step Functions

Transformaciones como modelos dbt con pruebas y documentación

Cargas incrementales, backfills y reruns que son seguros de repetir

Verificaciones de calidad de datos y alertas, para que los fallos te lleguen a ti y no a tus clientes

Infraestructura como código en Terraform, con CI/CD

STACK

Python, SQL, Airflow, dbt, AWS Glue, Spark, Kafka, Snowflake, Redshift, BigQuery, Terraform

LO QUE RECIBES

Código documentado en tu propio repositorio, un runbook y una llamada de entrega.

Cuéntame tus fuentes, tus volúmenes y qué tan actual tienen que estar los datos, y te diré honestamente qué se necesita.