Construiré y optimizaré pipelines de datos ETL en AWS glue
Ingeniero de Terraform y DevOps especializado en AWS Amazon Connect
Acerca de este Servicio
¿Necesitas que se construya, arregle u optimice un pipeline de datos confiable en AWS?
Soy un ingeniero certificado en AWS Cloud y DevOps con experiencia práctica en diseñar pipelines de datos empresariales usando AWS Glue, PySpark, Amazon S3, Amazon Redshift, Python, Terraform y GitHub Actions.
Puedo ayudar con:
Desarrollo y solución de problemas de trabajos ETL en AWS Glue
Ingesta en S3, particionado y procesamiento de Parquet
Transformaciones en PySpark y manejo de esquemas
Preparación, carga, MERGE y deduplicación en Redshift
Conversión de marcas de tiempo, backfills y cargas incrementales
Verificación de calidad de datos, validación y monitoreo
Configuración del Glue Catalog y crawler
Infraestructura con Terraform y flujos de trabajo de CI/CD
Optimización del rendimiento y costos del pipeline
Análisis de causa raíz para fallos específicos de esquema y entorno
Mi experiencia incluye construir pipelines de producción para datos JSON complejos, aplanar estructuras anidadas, aplicar lógica de último registro, resolver conflictos de tipos y promover cambios controlados en entornos de desarrollo, prueba y producción.
Por favor, envíame un mensaje antes de ordenar si tu pipeline tiene múltiples fuentes, grandes backfills, esquemas complejos o requisitos de despliegue en producción.
Plataforma de destino:
Amazon Redshift
•
Amazon S3
Herramientas y plataformas:
Otros
Mi porfolio
FAQ
Traducción automática
¿Puedes arreglar un trabajo existente en AWS Glue?
Sí. Comparte el script, detalles del error, resultado esperado, esquema de ejemplo y logs relevantes. Elimina datos confidenciales y credenciales antes de enviar cualquier cosa.
¿Puedes cargar datos en Amazon Redshift o Amazon S3?
Sí. Puedo construir o mejorar flujos ETL que ingesten, transformen, validen y carguen datos en Amazon S3 o Amazon Redshift.
¿Puedes manejar JSON anidado, cambios en el esquema y backfills?
Sí. Puedo aplanar JSON anidado, gestionar conflictos de esquema y tipo, aplicar deduplicación y diseñar backfills históricos controlados.
¿Puedes desplegar el pipeline con Terraform y CI/CD?
Sí. El alcance Estándar o Premium puede incluir Terraform y flujos de promoción automatizados usando GitHub Actions, dependiendo de tu entorno.
