Construiré y automatizaré pipelines de azure etl usando azure data factory y databricks

Ingeniero de datos de Azure profesional con más de 3 años de experiencia y experiencia práctica en el desarrollo de pipelines ETL altamente complejos.

• Con experiencia en implementar flujos de trabajo escalables, optimizados de extremo a extremo en Azure Data Factory / Databricks para extraer, procesar y almacenar datos de diversas fuentes, lo que resultó en una reducción promedio del 40% en el tiempo de procesamiento de datos para mis clientes.
• Con experiencia en migración de datos desde sistemas legados (On-premise) y APIs a Azure Data Lake, realizando transformaciones complejas en los datos usando DataBricks (Python y PySpark), moviendo los datos procesados a SQL Server / PostgreSQL / Data o Delta Lake, y escribiendo Procedimientos almacenados / funciones SQL que pueden transformar los datos y realizar algunos cálculos basados en lógica empresarial.
• También tengo habilidades en desarrollar y mantener arquitecturas DeltaLake usando Databricks y aprovechar DataLakes para almacenar los datos subyacentes y aplicar estándares de seguridad.
• Programar cargas de trabajo usando Azure Data Factory triggers o Databricks workflows.

Especialización principal: SQL, Python, PySpark, Databricks, Azure, APIs, transformación de datos, análisis.

Portafolio: https://arlsnahafeez967.github.io/Arslanhafeez2.github.io/