Construiré tu pipeline de datos ETL usando python, sql y apache airflow

Parte de la información se ha traducido automáticamente.

India

Hablo Inglés

Ingeniero de datos para pipelines ETL, automatización con Python y SQL

Ingeniero de datos en Ksolves India Ltd., asegurando infraestructura de Big Data a gran escala que soporta clústeres Hadoop de producción. He diseñado una capa de alta disponibilidad en Redis que sopo...
Acerca de este Servicio

Construyo pipelines ETL/ELT confiables y de nivel de producción que mueven y transforman tus datos sin errores ni tiempo de inactividad. En mi rol actual como ingeniero de datos, he diseñado pipelines que sincronizan miles de millones de registros entre sistemas con deduplicación en tiempo real, sincronización completa y delta, y sin pérdida de datos en producción, además de construir clústeres de Apache NiFi que manejan integración continua de datos empresariales.


Ya sea que necesites un script simple para mover datos de un CSV a una base de datos, o un pipeline programado que extraiga de una API y cargue en tu warehouse, lo diseñaré para que sea limpio, documentado y fácil de entregar a tu equipo.


Lo que puedo ayudarte: extracción de datos desde APIs, bases de datos o archivos; transformación y limpieza; lógica de deduplicación y upsert; sincronizaciones programadas y automáticas; y migración entre bases de datos como MySQL, SQL Server y PostgreSQL.


Aporto la misma confiabilidad que uso en sistemas de producción que soportan millones de usuarios en cada proyecto. La comunicación clara y el código limpio y bien documentado siempre forman parte de la entrega.

Plataforma de destino:

Postgresql

•

mySQL

Herramientas y plataformas:

Kafka Connect

•

Apache NiFi

Etiquetas relacionadas