Construiré pipelines de transmisión de datos en tiempo real usando kafka, spark y python
Ingeniero de big data
Nivel 1
Ha cumplido determinados criterios de rendimiento y muestra un gran potencial en la plataforma.
Acerca de este Servicio
Las aplicaciones modernas generan enormes flujos de datos en tiempo real desde sitios web, aplicaciones móviles, dispositivos IoT y plataformas en la nube. Procesar estos datos de manera eficiente requiere arquitecturas de transmisión escalables y pipelines de datos confiables.
Soy un ingeniero de datos especializado en sistemas de big data y procesamiento en tiempo real, y te ayudaré a diseñar e implementar pipelines de transmisión de alto rendimiento usando tecnologías como Apache Kafka y Apache Spark.
Tengo experiencia construyendo sistemas de datos distribuidos y pipelines de análisis a gran escala, incluyendo un sistema de recomendación musical en tiempo real que procesó más de 100GB de datos en streaming usando Hadoop y Spark, y pipelines ETL en tiempo real con almacenamiento de datos para análisis empresarial.
Tecnologías
- Apache Kafka
- Apache Spark / Spark Streaming
- Python / PySpark
- Scala
- AWS / Azure
Casos de uso de ejemplo
- Analíticas en tiempo real de sitios web
- Procesamiento de transacciones financieras
- Pipelines de datos de sensores IoT
- Motores de recomendación en tiempo real
Me enfoco en construir pipelines de transmisión escalables, confiables y listos para producción que convierten datos en vivo en insights accionables.
Contáctame antes de hacer un pedido para discutir tus requisitos.
