Implementaré pipelines de ETL de azure data factory y migraré datos a adls gen2

Parte de la información se ha traducido automáticamente.

India

Hablo Hindi, Urdu, Inglés

Ingeniero de datos

Soy un ingeniero de datos con experiencia en construir pipelines ETL escalables, flujos de trabajo de transformación de datos y soluciones de análisis en la nube. Me especializo en servicios de AWS Da...
Acerca de este Servicio

¿Buscas migrar tu data warehouse heredado local a Azure sin tiempo de inactividad? ¡Estás en el lugar correcto!

Soy un ingeniero de Cloud y Data especializado en diseñar pipelines de ingestión de datos robustos y de nivel empresarial. Te ayudaré a mover bases de datos transaccionales a gran escala o a configurar cargas incrementales automatizadas de manera eficiente.

Lo que ofrezco:

  • Migración de local a la nube: Movimiento de datos sin problemas desde MS SQL Server a Azure Data Lake Storage (ADLS Gen2).
  • Pipelines basados en metadatos: Arquitectura avanzada de ADF usando diseños Parent-Child y bucles ForEach para procesamiento en paralelo.
  • Carga incremental (lógica de watermark): Arquitectura de tablas de control personalizadas con T-SQL dinámico para cargas diarias eficientes sin redundancia.
  • Particionamiento dinámico: Estructuración de jerarquías de directorios limpias usando expresiones de ADF y almacenamiento en formato Parquet comprimido con Snappy de alto rendimiento.
  • Configuración de IR auto-hospedada: Configuración completa de SHIR y resolución de problemas complejos de JRE/JVM.

Pila tecnológica: Azure Data Factory (ADF), ADLS Gen2, MS SQL Server, T-SQL, Parquet.

¡Por favor, contáctame antes de hacer un pedido para discutir los requisitos de tu proyecto!

Experiencia:

Automatizaciones

Big data

Extracción de Datos

Tecnología:

Azure data factory

Python

SAS

SQL

Databricks