Construiré pipelines de ETL en Azure usando adf databricks y pyspark

Parte de la información se ha traducido automáticamente.

India

Hablo Hindi, Urdu, Inglés

Ingeniero de datos de Azure

Soy un ingeniero de datos de Azure con casi 3 años de experiencia en Azure Data Factory, Azure Databricks, PySpark y Delta Lake. Me especializo en diseñar y desarrollar pipelines ETL escalables, soluc...
Acerca de este Servicio

¿Buscas un ingeniero de datos confiable en Azure para construir u optimizar tus pipelines de ETL?

 

Puedo ayudarte a crear soluciones de datos escalables y eficientes usando Azure Data Factory (ADF), Azure Databricks, PySpark y Azure Data Lake Storage Gen2.

Ya sea que necesites ingesta de datos, transformación, orquestación de flujos de trabajo o una solución de ETL de extremo a extremo, puedo ofrecerte una implementación limpia y fácil de mantener adaptada a tus necesidades.

 

Lo que obtendrás:

 

Desarrollo de pipelines en Azure Data Factory (ADF)

Ingesta de datos dinámica y parametrizada

Transformaciones en Azure Databricks y PySpark

Desarrollo de pipelines ETL/ELT

Implementación de arquitectura Medallion

Validación de calidad de datos

Orquestación y monitoreo de pipelines

Documentación técnica


Resumen de paquetes:

 

Básico: Pipeline de ingesta simple en ADF con 1 conector

Estándar: Solución ETL en ADF + Databricks con controles de calidad y documentación

Premium: Solución completa de Azure ETL con orquestación, transformaciones y documentación completa

 

Tecnologías:

Azure Data Factory, Azure Databricks, PySpark, ADLS Gen2, Delta Lake, SQL, CSV y JSON.

 

Por favor, contáctame antes de hacer un pedido para discutir tus requisitos y seleccionar el mejor paquete.

Plataforma de destino:

Databricks Lakehouse

•

Otros

Herramientas y plataformas:

Azure Data Factory

•

Otros

Mi porfolio