Construiré pipelines de transmisión de datos en tiempo real usando kafka, spark y python
Ingeniero de big data
Nivel 2
Ha cumplido con los criterios de alto rendimiento y tiene un historial comprobado de cumplimiento de las expectativas de los clientes.
Acerca de este Servicio
Las aplicaciones modernas generan enormes flujos de datos en tiempo real desde sitios web, aplicaciones móviles, dispositivos IoT y plataformas en la nube. Procesar estos datos de manera eficiente requiere arquitecturas de transmisión escalables y pipelines de datos confiables.
Soy un ingeniero de datos especializado en sistemas de big data y procesamiento en tiempo real, y te ayudaré a diseñar e implementar pipelines de transmisión de alto rendimiento usando tecnologías como Apache Kafka y Apache Spark.
Tengo experiencia construyendo sistemas de datos distribuidos y pipelines de análisis a gran escala, incluyendo un sistema de recomendación musical en tiempo real que procesó más de 100GB de datos en streaming usando Hadoop y Spark, y pipelines ETL en tiempo real con almacenamiento de datos para análisis empresarial.
Tecnologías
- Apache Kafka
- Apache Spark / Spark Streaming
- Python / PySpark
- Scala
- AWS / Azure
Casos de uso de ejemplo
- Analíticas en tiempo real de sitios web
- Procesamiento de transacciones financieras
- Pipelines de datos de sensores IoT
- Motores de recomendación en tiempo real
Me enfoco en construir pipelines de transmisión escalables, confiables y listos para producción que convierten datos en vivo en insights accionables.
Contáctame antes de hacer un pedido para discutir tus requisitos.
