Construiré pipelines ETL de pyspark para datos por lotes y en streaming en AWS
Ingeniero de datos para PySpark, AWS y QuickSight
Acerca de este Servicio
¿Necesitas un trabajo PySpark confiable o un pipeline ETL completo? Soy Ingeniero de Datos a tiempo completo, y crear pipelines por lotes y en streaming con PySpark en AWS es mi día a día.
Lo que puedo hacer por ti:
- Escribir trabajos ETL en PySpark: ingestión, limpieza, transformación, carga
- Procesar grandes conjuntos de datos en batch en Amazon EMR
- Construir trabajos de streaming para datos en tiempo real
- Integrar tus trabajos con Apache Hive y Apache Hudi
- Configurar u organizar un data lake en Amazon S3
- Optimizar o depurar código PySpark existente
Lo que obtendrás:
- Código limpio y comentado
- Notas cortas sobre cómo ejecutarlo y programarlo
- Respuestas normalmente en una hora
Cómo funciona:
1. Envíame tu fuente de datos, tu objetivo y la transformación que necesitas
2. Confirmo alcance, precio y plazo
3. Entrego el código y hago revisiones basándome en tu retroalimentación
Por favor, escríbeme antes de encargar para ponernos de acuerdo con el alcance primero.
Tecnología:
Apache Hadoop
•
apache spark
•
Excel
•
Python
•
SQL
•
NoSQL
FAQ
Traducción automática
¿En qué plataformas trabajas?
Principalmente Amazon EMR y Amazon S3, con PySpark, Apache Hive y Apache Hudi. Si usas una plataforma diferente, envíame un mensaje antes de hacer el pedido para confirmar que encaja.
¿Puedes arreglar un trabajo de PySpark que va lento o falla?
Sí. Envíame el mensaje de error o los detalles de la Spark UI junto con el código, y te diré qué está mal y cuánto costará arreglarlo antes de que hagas el pedido.
¿Qué necesitas de mí para empezar?
Tu fuente de datos y el destino, una muestra de los datos o su esquema, y la transformación que necesitas. Para trabajar en tu cuenta de AWS, basta con un rol IAM limitado con acceso al clúster EMR relevante o al bucket de S3.
