Realizaré tareas de big data usando apache hadoop superset kafka mongo clickhouse

¡Hola! Soy un ingeniero de datos interesado en escalar y optimizar pipelines de datos.

Este servicio consiste en ofrecer mis servicios de Big-data para Machine Learning y análisis con Apache Spark, Apache Hadoop, Apache Hive, Apache Kafka, Apache Airflow, superset, Spark SQL y MongoDB, clickhouse.

Programo en Python.

Disfruto transformar datos brutos de big-data (estructurados o no estructurados) en análisis, visualizaciones o para entrenar modelos de ML altamente precisos.

Mi proyecto anterior

• Sistema de recomendación musical en spotify,
• Motor de búsqueda de archivos Excel personalizados,
• Análisis de cesta de mercado en Amazon,
• Optimización de clúster Hadoop,
• Algoritmo de Dijkstra usando GraphX.

herramientas: shell-scripting, hadoop, pyspark, java + spark, Scala + Spark, kafka y mongodb

Mientras que todos estos proyectos incluyen streaming de datos, ETL, análisis y ML.

Adicionalmente, puedo configurar clústeres de Spark en VM o en la nube con Mesos, Yarn o configuraciones independientes.

Por favor, envía un mensaje y discutamos la tarea antes de hacer el pedido.

Gracias, espero poder ayudarte en tu próximo proyecto :)