Crearé pipelines de datos escalables usando azure data factory y databricks

Parte de la información se ha traducido automáticamente.

India

Hablo Kannada, Hindi, Inglés

Ingeniero de Big Data

Ingeniero de datos con más de 7 años de experiencia en la construcción de pipelines de datos escalables en la nube y en la automatización de flujos de datos. Me especializo en Python, SQL, Azure (ADLS...
Acerca de este Servicio

Me especializo en diseñar y desarrollar pipelines ETL/ELT de extremo a extremo usando Azure Data Factory (ADF) y Databricks (PySpark). Integro datos de múltiples fuentes: APIs, bases de datos SQL, almacenamiento en la nube, archivos y más, en pipelines limpios, estructurados y listos para producción.


Con una sólida experiencia en orquestación con ADF, pipelines Delta en Databricks y transformaciones con PySpark, puedo ayudarte a construir flujos de trabajo robustos, fáciles de mantener y optimizados para rendimiento. Ya sea que necesites un pipeline simple de ingestión o una solución completa de datos de múltiples fuentes, entrego resultados escalables, seguros y bien documentados.


Lo que ofrezco:

Ingestión de datos desde múltiples fuentes

Pipelines, triggers y orquestación en ADF

Pipelines ETL/ELT Delta en Databricks

Transformaciones con PySpark

Verificación y validación de calidad de datos

Pipelines en streaming o por lotes

Documentación y mejores prácticas


Construyamos un pipeline que entregue datos precisos, confiables y de grado de producción para tu negocio!

Plataforma de destino:

Google BigQuery

Azure Synapse Analytics

Herramientas y plataformas:

AWS Glue DataBrew

Mi porfolio