Diseñaré y construiré pipelines de datos usando azure data factory y databricks ai ml

Diseñaré, construiré y optimizaré pipelines de datos escalables usando Microsoft Azure, Azure Data Factory y Azure Databricks para transformar tus datos en valiosos insights de negocio.

Con sólida experiencia en ingeniería de datos en la nube y análisis.

Lo que haré por ti

• Construir pipelines ETL/ELT de extremo a extremo en Azure
• Crear flujos de trabajo dinámicos y automatizados en Azure Data Factory
• Desarrollar soluciones escalables de procesamiento de datos usando PySpark y Spark SQL
• Integrar APIs, bases de datos SQL, Data Lake, Blob Storage y fuentes de terceros
• Optimizar el rendimiento de los pipelines y reducir costos en la nube
• Implementar limpieza, validación y transformación de datos
• Desplegar pipelines de producción seguros y confiables

Funciones de AI y Machine Learning

• Construir modelos ML usando Azure Databricks (clasificación, regresión, pronósticos)
• Preprocesamiento de datos y creación de características para ML
• Entrenamiento y evaluación de modelos usando Python y Spark ML
• Desplegar pipelines de machine learning en Azure
• Flujos de trabajo de predicción en batch y en tiempo real
• Análisis y insights impulsados por AI

Herramientas y Tecnologías

• Azure Data Factory (ADF)
• Azure Databricks
• PySpark / Spark SQL
• Azure Data Lake Storage
• Azure SQL Database
• Python
• Machine Learning (ML)
• Modelado y transformación de datos