Escribiré y optimizaré pipelines ETL de pyspark para tus flujos de datos

¿Buscas un Ingeniero de Datos PySpark confiable para construir u optimizar tus pipelines ETL?

Estás en el lugar correcto.

Soy Pankaj, un Ingeniero de Datos con más de 3 años de experiencia en Paytm, donde construí más de 200 pipelines ETL en producción procesando más de 5 TB/día usando PySpark, Airflow, AWS y Kafka.

Este servicio se centra al 100% en ofrecer soluciones PySpark ETL rápidas, escalables y limpias para tu negocio.

Lo que puedo hacer por ti

• Escribir código PySpark ETL limpio y optimizado
• Construir flujos de trabajo ETL de extremo a extremo (extraer, transformar, cargar)
• Convertir lógica SQL en transformaciones PySpark
• Arreglar trabajos PySpark que fallen o sean lentos
• Optimizar trabajos Spark para reducir tiempo de ejecución y costo en EMR
• Integrar PySpark con AWS Glue, S3, EMR, Athena
• Limpieza, validación y transformación de datos
• Depurar pipelines ETL existentes

Por qué elegirme

• Código listo para producción, limpio
• Amplia experiencia en el mundo real
• Comunicación y entrega rápidas
• 100% enfocado en confiabilidad y escalabilidad
• Entendimiento práctico de fallos en pipelines y optimizaciones

Tecnologías que uso

• PySpark / Spark
• AWS Glue, S3, EMR
• SQL
• Airflow (orquestación de workflows)
• Kafka
• Python y Scala

¿Tienes un requerimiento personalizado?

Envíame un mensaje en cualquier momento, respondo rápido.

Construyamos algo escalable.