Implementaré pipelines de datos escalables etl elt con python airflow spark AWS azure

Construiré pipelines de datos escalables ETL ELT con Python, Airflow, Spark, AWS, Azure y GCP.

Con más de 10 años de experiencia en Ingeniería de Datos, IA y Análisis de Datos, he diseñado y desarrollado pipelines de datos de extremo a extremo desde cero para varias empresas tecnológicas. Tengo 9 publicaciones en revistas revisadas por pares (incluida 1 publicación galardonada en IA), lo que me proporciona una profunda experiencia técnica y habilidades para resolver problemas basadas en investigación.

¿Tienes problemas con procesos manuales, flujos de datos poco confiables o dificultades para escalar? Creo pipelines de ETL/ELT robustos y automatizados que entregan datos limpios y oportunos para análisis y aplicaciones de IA.

Lo que obtienes:

• pipelines de datos por lotes y en tiempo real de extremo a extremo
• Orquestación usando Airflow, Prefect o Dagster
• Integración desde bases de datos, APIs, SaaS y fuentes en la nube
• Transformaciones avanzadas con Python, SQL, PySpark y dbt
• Despliegue en AWS, Azure, GCP o Databricks
• Monitoreo, registro, manejo de errores y pipelines de CI/CD

Beneficios clave:

• Soluciones altamente escalables que manejan millones de registros diarios
• Reducción del trabajo manual, errores y costos operativos
• Pipelines listos para producción, bien documentados y fáciles de mantener