Auditaré y optimizaré tus pipelines de datos de azure data factory y databricks

Tus pipelines se ejecutan. Si lo hacen bien o no, es otra historia. Los trabajos tardan más de lo que deberían, los costos aumentan, las rerun crean duplicados y nadie puede decir qué fallos realmente importan.

Audito pipelines de Azure Data Factory y Databricks y te digo qué está mal, cuánto te está costando y qué debes arreglar primero.

Lo que reviso:

Diseño del pipeline: orquestación, dependencias, manejo de reintentos y fallos

Cargas incrementales: watermarking, idempotencia, registros que llegan tarde

Rendimiento de Spark: particionado, shuffles, sesgo, tamaño del cluster

Tablas Delta: tamaño de archivos, OPTIMIZE/VACUUM, evolución del esquema

Costo: configuración del cluster, gasto en DBU, tiempo ocioso

Calidad de datos: validación, conciliación, registro

Recibes un informe escrito con los hallazgos, donde cada problema está clasificado por impacto y esfuerzo, con pasos específicos para remediar y recomendaciones a nivel de código. No es una lista genérica, es una revisión real de tu entorno.

Ingeniero de Datos Senior, con más de 7 años creando plataformas de datos para clientes empresariales. Certificado por Microsoft: Fabric Analytics Engineer Associate (DP-600).

También trabajo con Synapse y Microsoft Fabric. Envíame un mensaje con tu stack y cantidad de pipelines y te diré qué paquete se ajusta mejor.