Explorar las categorías
Explora
Fiverr Pro
Español
$
USD
Crearé pipelines de datos en producción con pyspark, python y sql
Ingeniero de datos y backend
Más de 13 años construyendo plataformas de datos y sistemas backend — Goldman Sachs, Walmart Global Tech, Ola y dos startups financiadas donde lideré equipos de 6 a 12 ingenieros.
Lo que realmente ha...
Acerca de este Servicio
He pasado más de 13 años construyendo pipelines de datos en Goldman Sachs, Walmart Global Tech, Ola y dos startups respaldadas por inversión. Los pipelines que he gestionado mueven terabytes al día. Ahora construiré el tuyo.
LO QUE OBTIENES
- Un pipeline funcional en PySpark / Python / SQL, no solo un volcado de notas
- Idempotente y reejecutable, para que sea seguro volver a correr después de un fallo
- Maneja nulos, duplicados, datos tardíos y cambios en el esquema en lugar de fallar
- Código comentado y legible, además de un video corto explicándolo paso a paso
TRABAJO CON
PySpark, Pandas, Polars, SQL (Postgres, MySQL, Redshift, BigQuery), Airflow, dbt, Kafka, Iceberg, AWS (S3, EMR, Glue, Lambda)
TRABAJOS TÍPICOS
- CSV/JSON/Parquet desordenados convertidos en una tabla limpia y modelada
- Un trabajo o consulta en Spark que necesita terminarse realmente
- Una extracción programada desde una API o base de datos
- Funciones de ventana, lógica de deduplicación, cargas incrementales, CDC
ANTES DE PEDIR
Envíame un mensaje con una muestra de datos y cómo debería verse el resultado. Te diré qué paquete se ajusta o si no soy la persona adecuada para ello. La definición del alcance es gratis.
Estoy en IST y trabajo en horarios que superponen con EE. UU. y la UE.
FAQ
Traducción automática
¿Puedes trabajar con mis datos si son confidenciales?
Sí. Trabajaré con una muestra solo del esquema o datos sintéticos que coincidan con tu estructura, y no retengo nada después de la entrega. Feliz de firmar un NDA antes de que envíes cualquier cosa.
¿Qué tamaño puede tener la data?
Cómodamente hasta los terabytes — he ejecutado pipelines procesando aproximadamente 3TB/día. Los trabajos grandes los ejecuto en Spark o DuckDB en lugar de Pandas, para que realmente terminen.
¿Necesito Spark o solo SQL?
Envíame un mensaje. La mayoría de las veces la respuesta es "no necesitas Spark," y te diré eso aunque la versión en Spark sería un pedido mayor.
¿Puedo mantener esto después de la entrega?
Esa es la idea. Código comentado, un README y un video explicativo. Si tu equipo puede leer Python, pueden hacerse cargo.
