Construiré pipelines ETL y soluciones de ingeniería de datos en Databricks

Ingeniero de datos con más de 3 años de experiencia práctica en la creación de pipelines de grado producción en Azure.

Me especializo en diseñar y desplegar flujos de trabajo de datos escalables usando Azure Data Factory, Databricks, PySpark y Delta Lake, desde la ingestión de datos en bruto hasta modelos de datos en la capa Gold listos para análisis.

Lo que puedo construir para ti:

Pipelines ETL/ELT impulsados por metadatos en Azure Data Factory

Arquitectura Medallion (Bronze, Silver, Gold) en Databricks

Pipelines de streaming en tiempo real usando Azure Event Hubs (compatibles con Kafka)

Diseño de almacenes de datos en estrella / datos dimensionales

Seguimiento de cambios SCD Tipo 1 y Tipo 2 con autoCDC de Databricks

Transformaciones complejas en SQL, PySpark y procedimientos almacenados

Integraciones API REST/SOAP con pruebas en Postman

Configuración de Unity Catalog y gobernanza de datos

Pila tecnológica:

Python · PySpark · SQL · Azure Data Factory · Azure Databricks · Azure Data Lake Gen2 · Delta Lake · Unity Catalog · Event Hubs · Power BI

Aspectos destacados anteriores:

Publicación de pipelines en capa en Oracle

Mejoré la eficiencia de API en un 50% mediante procesamiento directo en backend

Reduje el tiempo de ejecución de Spark en un 30% mediante optimización de particiones

Construí una plataforma de análisis en tiempo real para servicios de transporte compartido en Azure