Construiré pipelines de transmisión de datos en tiempo real usando kafka, spark y python

Parte de la información se ha traducido automáticamente.

Pakistán

Hablo Inglés, Urdu

38 pedidos completados

Ingeniero de big data

Soy una persona curiosa que ama aprender, construir y simplificar sistemas complejos usando datos y AI. Trabajo como ingeniero de Big Data a tiempo completo, diseñando y automatizando pipelines que c...

Nivel 1

Ha cumplido determinados criterios de rendimiento y muestra un gran potencial en la plataforma.

Acerca de este Servicio

Las aplicaciones modernas generan enormes flujos de datos en tiempo real desde sitios web, aplicaciones móviles, dispositivos IoT y plataformas en la nube. Procesar estos datos de manera eficiente requiere arquitecturas de transmisión escalables y pipelines de datos confiables.


Soy un ingeniero de datos especializado en sistemas de big data y procesamiento en tiempo real, y te ayudaré a diseñar e implementar pipelines de transmisión de alto rendimiento usando tecnologías como Apache Kafka y Apache Spark.


Tengo experiencia construyendo sistemas de datos distribuidos y pipelines de análisis a gran escala, incluyendo un sistema de recomendación musical en tiempo real que procesó más de 100GB de datos en streaming usando Hadoop y Spark, y pipelines ETL en tiempo real con almacenamiento de datos para análisis empresarial.


Tecnologías

  1. Apache Kafka
  2. Apache Spark / Spark Streaming
  3. Python / PySpark
  4. Scala
  5. AWS / Azure


Casos de uso de ejemplo

  1. Analíticas en tiempo real de sitios web
  2. Procesamiento de transacciones financieras
  3. Pipelines de datos de sensores IoT
  4. Motores de recomendación en tiempo real


Me enfoco en construir pipelines de transmisión escalables, confiables y listos para producción que convierten datos en vivo en insights accionables.

Contáctame antes de hacer un pedido para discutir tus requisitos.

Tecnología:

Apache Hadoop

Apache Kafka

apache spark

Python

SAS

Experiencia:

Clasificación

agrupación

Extracción de Datos

Mi porfolio