Construiré pipelines ETL, flujos de trabajo en pyspark y dashboards en looker usando airflow, sql

Construyo en AWS (Glue, Lambda, S3, Redshift, EMR), Azure (Data Factory, Databricks, Synapse Analytics) y GCP (Cloud Composer, BigQuery, Dataflow). Recomendaré la mejor plataforma según tu infraestructura existente, habilidades del equipo y presupuesto — y te doy esta recomendación gratis antes de que decidas.

Apache Airflow es una herramienta de orquestación de flujos de trabajo que programa, monitorea y reintenta tus pipelines de datos automáticamente. Si necesitas que los datos se procesen en un horario regular (cada hora, diario, por evento), Airflow es esencial. Diseño DAGs listos para producción con lógica de reintento, alertas y más.

ETL (Extract-Transform-Load) procesa y limpia los datos antes de cargarlos en tu data warehouse — mejor para sistemas legados y gobernanza estricta de datos. ELT (Extract-Load-Transform) carga los datos en crudo primero y los transforma dentro del warehouse usando herramientas como dbt — mejor para pilas modernas en la nube como S

Sí. Me especializo en migrar desde SQL Server, Oracle, MySQL y archivos planos a warehouses en la nube como Snowflake, BigQuery y Redshift. Esto incluye diseño de esquema, mapeo de tipos de datos, pruebas de validación, configuración de cargas incrementales y backfill de datos históricos — todo documentado.

Cada entrega incluye documentación técnica completa: diagrama de arquitectura del pipeline, descripciones de DAGs, explicación de lógica de transformación, diccionario de datos, guía de configuración y manual de operación para tu equipo. Mi objetivo es que cualquier ingeniero de datos en tu equipo pueda entender y ampliar los pipelines de forma independiente.