Construiré una canalización de datos de Azure de extremo a extremo usando adf y databricks

Parte de la información se ha traducido automáticamente.

Pakistán

Hablo Inglés

Ingeniero de datos en la nube

Soy ingeniero de datos en la nube especializado en construir pipelines escalables de ETL/ELT usando Azure Data Factory, Databricks, Delta Lake y Azure Synapse Analytics. Transformo datos en bruto en c...
Acerca de este Servicio

Construiré una solución de ingeniería de datos de extremo a extremo para ingerir, transformar, procesar y preparar tus datos para análisis.

Me especializo en Azure, Azure Data Factory, Azure Databricks, PySpark, Python, SQL, ADLS Gen2 y Delta Lake.

Lo que puedo construir:

  • Canalizaciones de datos ETL/ELT
  • Ingesta de datos mediante API, CSV, Excel y SQL
  • Orquestación con Azure Data Factory
  • Soluciones de data lake con ADLS Gen2
  • Transformaciones con Databricks y PySpark
  • Delta Lake y arquitectura Medallion
  • Procesamiento de datos en lotes e incremental
  • SCD Tipo 1 / Tipo 2
  • Modelado de datos y conjuntos listos para análisis
  • Calidad y validación de datos
  • Capas de datos listas para Power BI

Arquitectura típica:

Fuente ADF ADLS Databricks/PySpark Delta Lake Capa de oro Análisis

Ya sea que necesites una nueva canalización, optimizar una existente o una plataforma de datos completa, puedo diseñar la solución según tus requisitos.

¿Tienes un proyecto en mente? Contáctame antes de ordenar para entender tus necesidades y recomendarte la mejor solución.

Plataforma de destino:

Snowflake

Azure Synapse Analytics

Herramientas y plataformas:

Azure Data Factory

Mi porfolio