Construiré una canalización de datos ETL lista para producción usando AWS, airflow y pyspark
Ingeniero de Datos, AWS, Apache Airflow, Spark, PostgreSQL, ETL
Acerca de este Servicio
¿Estás ahogado en datos sin una forma confiable de procesarlos?
Construyo canalizaciones de datos de grado producción que se ejecutan automáticamente, escalan con tus datos y nunca fallan silenciosamente. Sin scripts enredados. Sin pasos manuales. Solo datos limpios y confiables exactamente donde los necesitas.
Lo que construyo
- Canalizaciones ETL usando Python y PySpark para extraer, transformar, cargar, listo
- DAGs de Apache Airflow para flujos de trabajo totalmente automatizados y programados
- Canalizaciones de arquitectura Medallion (Bronce, Plata, Oro) con calidad de datos en cada capa
- Plataformas de datos AWS S3 data lake, Glue, EMR en EKS, IAM, Terraform
- Canalizaciones de ingestión en la nube desde cualquier fuente hacia PostgreSQL, MySQL, ClickHouse o Supabase
- Configuraciones completamente containerizadas con Docker y Docker Compose
- Despliegues con un solo comando y CI/CD, sin SSH manual ni runbooks
Mi porfolio
FAQ
Traducción automática
P: ¿Qué información necesita para comenzar?
A: Tu fuente de datos (S3, API, base de datos, CSV), tu destino final, requisitos de transformación y con qué frecuencia debe ejecutarse la canalización.
¿Puedes trabajar con mi infraestructura existente?
A: Sí. Envíame los detalles y evaluaré la compatibilidad antes de comenzar.
P: ¿Necesito una cuenta de AWS?
A: Para trabajos basados en AWS, sí — necesitarás tu propia cuenta. Puedo guiarte en la configuración si es necesario.
P: ¿Seré dueño del código?
A: Completamente. Todo el código fuente se te entrega al finalizar.
P: ¿Puedes manejar grandes conjuntos de datos?
A: Sí. Uso PySpark y EMR en EKS específicamente porque están diseñados para procesamiento de datos a gran escala.
¿Qué pasa si algo se rompe después de la entrega?
A: Ofrezco soporte post-entrega. Envíame un mensaje y lo solucionaré.

