Construiré pipelines de datos escalables usando dagster, AWS, postgresql y redshift

¿Buscas un ingeniero de datos confiable para construir pipelines de datos escalables y de grado de producción?

Me especializo en construir plataformas de datos modernas usando:

• Dagster (orquestación de workflows y pipelines basados en assets)
• PostgreSQL (base de datos fuente y de metadatos)
• Amazon S3 (almacenamiento de data lake)
• Amazon Redshift (almacén de análisis)
• Python (desarrollo ETL/ELT)

Lo que puedo hacer por ti

Construir pipelines ETL/ELT de extremo a extremo

Diseñar assets y jobs en Dagster

Cargar datos desde APIs / bases de datos S3 Redshift

Implementar pipelines incrementales (CDC, watermarking)

Optimizar el rendimiento para millones de registros

Manejar evolución de esquemas y validación de datos

Configurar particiones de datos (diarias/hora)

Crear arquitectura de data lake basada en S3

Depurar y arreglar pipelines existentes

Mi experiencia incluye

• pipelines multi-asset en Dagster
• Migración de PostgreSQL a Redshift
• Particionado en S3 Parquet
• Cargas incrementales (sin duplicados)
• Ingesta de datos a gran escala (millones de filas)
• Calidad y validación de datos
• Pruebas unitarias y de integración
• Manejo de errores y reintentos

Enfoque listo para producción

Sigo las mejores prácticas de la industria:

• Estructura modular del código
• Registro y monitoreo
• Reintentos y manejo de fallos
• Pipelines idempotentes
• Diseño listo para CI/CD