Desarrollaré etl pipeline utilizando Azure Data Factory y Databricks.

NOTA: Comuníquese conmigo antes de realizar cualquier pedido usando el botón CONTÁCTAME en la esquina superior derecha para analizar los requisitos. El precio mencionado en el servicio es por hora .

Ingeniero profesional de datos de Azure con más de 3 años de experiencia y desarrollo práctico de canalizaciones ETL altamente complejas.

• Experiencia en la implementación de flujos de trabajo optimizados escalables de un extremo a otro en Azure Data Factory/Databricks para extraer, procesar y almacenar datos de diversas fuentes, lo que resultó en una reducción promedio del 40 % en el tiempo de procesamiento de datos para mis clientes.
• Experiencia en migración de datos desde sistemas heredados (On-premise) y API a Azure Data Lake , realizando transformaciones complejas de datos usando DataBricks (Python y PySpark), moviendo los datos procesados ​​a SQL Server/PostgreSQL/Data o Delta Lake , y escribiendo Procedimientos / funciones almacenados de SQL que pueden transformar los datos y realizar algunos cálculos sobre ellos según alguna lógica empresarial.
• También tengo experiencia en desarrollar y mantener arquitecturas DeltaLake utilizando Databricks y aprovechando DataLakes para almacenar los datos subyacentes y hacer cumplir los estándares de seguridad.
• Programación de cargas de trabajo mediante desencadenadores de Azure Data Factory o flujos de trabajo de Databricks.