Crearé pipelines de ETL usando pyspark, azure data factory, data bricks

¡Hola!

Soy un ingeniero de datos con experiencia en tecnologías modernas de datos. Con conocimientos prácticos en PySpark, Azure Data Factory, Databricks, Python y SQL, entrego soluciones personalizadas que aseguran que los datos se procesen, muevan y transformen de manera eficiente.

Lo que ofrezco:

Desarrollo en PySpark:

• Procesamiento, transformación y análisis de datos
• Optimización de trabajos en Spark para un mejor rendimiento

Azure Data Factory (ADF):

• Construcción y programación de pipelines de datos
• Conexión de múltiples fuentes y destinos de datos

Servicios en Databricks:

• Gestión y optimización de clusters de Spark
• Notebooks interactivos para transformación y análisis de datos

Scripting en Python:

• Creación de scripts para automatización y manipulación de datos
• Integración de Python con ADF o flujos de trabajo en Spark

Experiencia en SQL:

• Optimización de consultas y ajuste de rendimiento
• Diseño de esquemas de bases de datos y joins complejos