Construiré pipelines ETL en databricks con spark

Hola, soy un consultor de ingeniería de datos con más de 5 años creando pipelines de datos en producción en Databricks.

He diseñado cargas de trabajo reales en Databricks en producción, incluyendo una plataforma de datos de clientes que procesa conjuntos de datos a gran escala con PySpark, Delta Live Tables y arquitectura medallion. Trabajo en Databricks a diario, no solo como una palabra de moda.

Lo que construiré para ti:

• pipelines ETL de extremo a extremo (batch o streaming)
• arquitectura medallion de bronce, plata y oro
• Delta Lake con ACID, evolución de esquemas, viaje en el tiempo
• transformaciones PySpark optimizadas
• Ingesta desde APIs, SQL Server, MySQL, Postgres, ADLS, S3, GCS, CSV, JSON, Parquet
• Cargas incrementales con MERGE INTO y CDC
• Autoloader, programación de trabajos, orquestación de workflows
• Código limpio, modular y con control de versiones

Por qué trabajar conmigo:

• Experiencia real en producción, no solo tutoriales
• 5 años en Databricks, Fabric, dbt, BigQuery, Synapse
• Código parametrizado, testeable y reutilizable
• Documentación con cada entrega
• Inglés fluido y actualizaciones detalladas

Pila tecnológica:

• Databricks
• PySpark
• Delta Lake
• DLT
• Unity Catalog
• ADLS
• S3
• SQL Server
• Python
• Git

Antes de ordenar:

Envíame un mensaje con todos tus requisitos.