Construiré pipelines de datos ETL con Python, Airflow, Kafka y PostgreSQL

Parte de la información se ha traducido automáticamente.

Pakistán

Hablo Inglés

2 pedidos completados

Data Scrapping, desarrollador de Python, desarrollador web

Soy un profesional independiente y dedicado, con pasión por brindar servicios de alta calidad a mis clientes. Tengo una sólida trayectoria en la entrega de proyectos a tiempo y dentro del presupuesto,...
Acerca de este Servicio

¿Tu información está dispersa entre APIs, archivos y bases de datos? Construyo pipelines ETL automatizados que capturan, limpian y cargan tus datos para que estén siempre listos para usarlos.

Mi experiencia:

  • pipeline de Kafka procesando 8 GB de medios por minuto con 35% menos latencia
  • clúster Celery + Redis manejando 1,000+ tareas por minuto
  • pipeline de crawling diario almacenando 500,000+ listados de empleo
  • Título en Ingeniería de Software con especialización en Ciencia de Datos (ETL, data mining)

Lo que puedo construir:

  • pipelines ETL / ELT desde APIs, CSV, Excel, sitios web o bases de datos
  • trabajos programados con Apache Airflow, Celery o cron
  • transmisión en tiempo real con Kafka o RabbitMQ
  • Carga en PostgreSQL, MySQL, Elasticsearch o AWS (S3, RDS, DynamoDB)
  • limpieza, transformación y validación de datos

Herramientas: Python, Pandas, Airflow, Kafka, Celery, Redis, PostgreSQL, AWS

Obtendrás código limpio y documentado que te pertenece. Envíame un mensaje con tus fuentes de datos y objetivos, y te propondré la pipeline más simple que funcione.

Plataforma de destino:

Postgresql

•

mySQL

•

Amazon S3

Herramientas y plataformas:

Kafka Connect