Construiré pipelines de datos ETL escalables con databricks y pyspark

¿Buscas un ingeniero de datos senior para construir soluciones de datos de alto rendimiento? ¡Estás en el lugar correcto!

Con más de 11 años de experiencia en empresas y certificaciones oficiales en la nube, me especializo en diseñar pipelines de datos robustos que procesan conjuntos de datos masivos con mínima latencia y costos optimizados en la nube.

Mis servicios principales:

* pipelines ETL/ELT: Ingesta automatizada de datos desde APIs, bases de datos y almacenamiento en la nube.

* PySpark y SparkSQL: notebooks modulares de Databricks para limpieza y normalización compleja de datos.

* Optimización de rendimiento: depuración de trabajos Spark lentos, ajuste de consultas y optimización de clústeres.

* Data warehousing: implementación de arquitecturas Medallion y lógica de upsert dinámica.

Stack técnico:

Apache Spark | PySpark | Databricks | Azure Data Factory | Azure Synapse | Hive | SparkSQL | SQL Server

Mi proceso de entrega:

  1. Análisis profundo de requisitos y alineación arquitectónica.

  2. Escribir código limpio, listo para producción y con pruebas.

  3. Revisiones y ajustes según tus comentarios.

  4. Documentación detallada y explicación paso a paso.

¡Envíame un mensaje por chat para discutir tus requisitos antes de hacer un pedido!