Construiré pipelines de datos ETL con Python, Airflow, Kafka y PostgreSQL
Data Scrapping, desarrollador de Python, desarrollador web
Acerca de este Servicio
¿Tu información está dispersa entre APIs, archivos y bases de datos? Construyo pipelines ETL automatizados que capturan, limpian y cargan tus datos para que estén siempre listos para usarlos.
Mi experiencia:
- pipeline de Kafka procesando 8 GB de medios por minuto con 35% menos latencia
- clúster Celery + Redis manejando 1,000+ tareas por minuto
- pipeline de crawling diario almacenando 500,000+ listados de empleo
- Título en Ingeniería de Software con especialización en Ciencia de Datos (ETL, data mining)
Lo que puedo construir:
- pipelines ETL / ELT desde APIs, CSV, Excel, sitios web o bases de datos
- trabajos programados con Apache Airflow, Celery o cron
- transmisión en tiempo real con Kafka o RabbitMQ
- Carga en PostgreSQL, MySQL, Elasticsearch o AWS (S3, RDS, DynamoDB)
- limpieza, transformación y validación de datos
Herramientas: Python, Pandas, Airflow, Kafka, Celery, Redis, PostgreSQL, AWS
Obtendrás código limpio y documentado que te pertenece. Envíame un mensaje con tus fuentes de datos y objetivos, y te propondré la pipeline más simple que funcione.
Plataforma de destino:
Postgresql
•
mySQL
•
Amazon S3
Herramientas y plataformas:
Kafka Connect
FAQ
Traducción automática
¿Puedes desplegar el pipeline?
Sí. Puedo desplegarlo en tu servidor o en AWS (EC2, Lambda, S3) y configurar la programación.
¿Trabajas con mi base de datos existente?
Sí. Trabajo con PostgreSQL, MySQL, SQLite y Elasticsearch, y servicios de AWS como RDS y DynamoDB.
¿Obtendré el código fuente?
Sí. Obtienes el código fuente completo con instrucciones de configuración y documentación.
¿Puedes construir canalizaciones de streaming en tiempo real?
Sí. He construido canalizaciones de Kafka que manejan 8 GB de datos por minuto, además de RabbitMQ y colas de tareas Celery.
¿Qué fuentes de datos puedes conectar?
APIs REST, archivos CSV y Excel, sitios web (a través de scraping), bases de datos y almacenamiento en la nube como S3.
¿Qué necesitas de mí para empezar?
Tus fuentes de datos, el destino, con qué frecuencia debe actualizarse la data y cualquier detalle de acceso para entornos de prueba.

