Desarrollaré pipeline de ETL en Azure Data Factory y Data Bricks

Ingeniero de datos profesional con más de 2 años de experiencia y experiencia práctica en el desarrollo de pipelines de ETL altamente complejos.

• Ingesta, transformación y orquestación de datos en pipelines.
• Experiencia en migración de datos desde sistemas legados (On-premise) a Azure Data Lake, realizando algunas transformaciones en los datos usando DataBricks (Python o Apache Spark), trasladándolos a Azure SQL Database (SSMS) y escribiendo Procedimientos almacenados SQL que pueden transformar los datos y realizar algunos cálculos basados en lógica de negocio.
• También tengo habilidades en desarrollar y mantener delta live table arquitecturas usando Databricks y aprovechando ADLS para almacenar los datos subyacentes.
• El ETL se realizará usando Azure Data Factory.
• Dashboard personalizado para visualizar los datos usando PowerBI.