Construiré pipelines ETL de pyspark para datos por lotes y en streaming en AWS

Parte de la información se ha traducido automáticamente.

Pakistán

Hablo Urdu, Inglés

1 pedido completado

Ingeniero de datos para PySpark, AWS y QuickSight

Soy Muhammad Zeeshan, un Data Engineer que trabaja a tiempo completo con plataformas de datos en AWS. Construyo pipelines ETL PySpark (batch y streaming) en Amazon EMR, configuro lagos de datos S3 y c...
Acerca de este Servicio

¿Necesitas un trabajo PySpark confiable o un pipeline ETL completo? Soy Ingeniero de Datos a tiempo completo, y crear pipelines por lotes y en streaming con PySpark en AWS es mi día a día.


Lo que puedo hacer por ti:

- Escribir trabajos ETL en PySpark: ingestión, limpieza, transformación, carga

- Procesar grandes conjuntos de datos en batch en Amazon EMR

- Construir trabajos de streaming para datos en tiempo real

- Integrar tus trabajos con Apache Hive y Apache Hudi

- Configurar u organizar un data lake en Amazon S3

- Optimizar o depurar código PySpark existente


Lo que obtendrás:

- Código limpio y comentado

- Notas cortas sobre cómo ejecutarlo y programarlo

- Respuestas normalmente en una hora


Cómo funciona:

1. Envíame tu fuente de datos, tu objetivo y la transformación que necesitas

2. Confirmo alcance, precio y plazo

3. Entrego el código y hago revisiones basándome en tu retroalimentación


Por favor, escríbeme antes de encargar para ponernos de acuerdo con el alcance primero.

Experiencia:

Big data

•

Manipulación de Datos

•

etl

•

Transformación

•

SQL

Tecnología:

Apache Hadoop

•

apache spark

•

Excel

•

Python

•

SQL

•

NoSQL