Construiré una pipeline ETL en python para csv, Excel, API y sql

Parte de la información se ha traducido automáticamente.

Pakistán

Hablo Urdu, Inglés

Ingeniero de backend y datos que crea APIs escalables, bases de datos y sistemas ETL

Diseño y desarrollo las bases de datos y los backends de productos con mucha carga de datos. Arquitectura PostgreSQL/MySQL, SaaS multi-inquilino con aislamiento a nivel de base de datos, backends con ...

Acerca de este Servicio

Si tus datos son demasiado grandes, desordenados o demasiado manuales en este momento, los automatizaré.

Prueba: construí una pipeline que procesa más de 2 mil millones de filas para una plataforma financiera, y convertí un conjunto de datos en bruto de 7GB y más de 2 millones de documentos en un lago de datos estructurado y buscable en dos semanas, de forma autónoma.

Lo que construyo:

Pipeline ETL personalizada (extraer, limpiar, transformar, cargar)

Grandes conjuntos de datos manejados sin caídas de memoria

Pipeline reanudable e idempotente

Validación de datos y controles de calidad

Carga en PostgreSQL, MySQL o Parquet

Registro y manejo de errores

Configuración de programación/automatización

Fuentes: CSV, Excel, JSON, APIs REST, PostgreSQL, MySQL, SQLite, Parquet.

Envíame una muestra de tus datos y tu objetivo final, y definiré el alcance de la pipeline antes de que hagas el pedido.

pipeline ETL

python