Construiré una canalización de datos ETL lista para producción usando AWS, airflow y pyspark

Parte de la información se ha traducido automáticamente.

Pakistán

Hablo Inglés

Ingeniero de Datos, AWS, Apache Airflow, Spark, PostgreSQL, ETL

Soy ingeniero de datos y estudiante de último año de Ciencias de la Computación con experiencia práctica en la construcción de canalizaciones ETL escalables y arquitecturas de datos. He trabajado en C...
Acerca de este Servicio

¿Estás ahogado en datos sin una forma confiable de procesarlos?

Construyo canalizaciones de datos de grado producción que se ejecutan automáticamente, escalan con tus datos y nunca fallan silenciosamente. Sin scripts enredados. Sin pasos manuales. Solo datos limpios y confiables exactamente donde los necesitas.


Lo que construyo

  • Canalizaciones ETL usando Python y PySpark para extraer, transformar, cargar, listo
  • DAGs de Apache Airflow para flujos de trabajo totalmente automatizados y programados
  • Canalizaciones de arquitectura Medallion (Bronce, Plata, Oro) con calidad de datos en cada capa
  • Plataformas de datos AWS S3 data lake, Glue, EMR en EKS, IAM, Terraform
  • Canalizaciones de ingestión en la nube desde cualquier fuente hacia PostgreSQL, MySQL, ClickHouse o Supabase
  • Configuraciones completamente containerizadas con Docker y Docker Compose
  • Despliegues con un solo comando y CI/CD, sin SSH manual ni runbooks

Experiencia:

Big data

Extracción de Datos

Flujo de Datos

Tecnología:

Amazon Redshift

Apache Kafka

apache spark

Python

SQL

Mi porfolio