Construiré una pipeline ETL en Python para tus datos

Parte de la información se ha traducido automáticamente.

India

Hablo Bengalí, Inglés, Hindi

Ingeniero de datos y desarrollador en Python

Ingeniero de datos que construye pipelines automatizados y de nivel de producción, desde la ingestión hasta almacenes listos para análisis. Construí: un pipeline de más de 1B de filas (Airflow, S3, S...
Acerca de este Servicio

¿Tienes scripts que funcionan pero se ejecutan manualmente o sin una programación adecuada?

Voy a envolver tu flujo de trabajo de datos existente en una orquestación de nivel de producción.


Lo que obtienes:

- DAGs de Apache Airflow para programar y monitorear tus scripts existentes

- Manejo adecuado de errores y lógica de reintentos

- Opcional: modelos dbt para reemplazar transformaciones SQL ad hoc con

 probadas, controladas por versiones

- Opcional: pruebas de calidad de datos y verificaciones de frescura de las fuentes


Este es el mismo patrón de orquestación que usé para ejecutar un pipeline de más de 1B de filas de manera confiable, escalado para ajustarse a tu base de código existente, sin reconstruir desde cero.


Comparte la estructura actual de tus scripts/repos en los requisitos para que pueda definir el alcance con precisión antes de comenzar.

Plataforma de destino:

Snowflake

•

Google BigQuery

•

Postgresql

•

mySQL

Herramientas y plataformas:

AWS Glue DataBrew

•

Kafka Connect

Mi porfolio