Haré ingeniería de big data con pyspark, kafka, airflow, AWS etl y mongodb

Trabajo con herramientas líderes en la industria como Hadoop, Spark, Kafka, Hive y PySpark. Estas tecnologías me permiten diseñar soluciones escalables de ingeniería de datos, construir pipelines eficientes y procesar grandes conjuntos de datos para análisis.

Sí, me especializo en construir pipelines completos de big data usando Hadoop y Spark. Desde la ingesta de datos hasta su transformación y almacenamiento, creo flujos de trabajo ETL confiables adaptados a las necesidades de tu negocio.

Por supuesto. Desarrollo pipelines de streaming de datos en tiempo real usando Kafka, permitiéndote procesar y analizar datos en streaming de manera eficiente para casos de uso como monitoreo, análisis y sistemas basados en eventos.

Ofrezco una amplia gama de servicios de ingeniería de datos, incluyendo desarrollo de ETL, procesamiento de big data, configuración de clústeres Hadoop, optimización de Spark, integración de Kafka y soluciones de análisis de datos.

Sí, puedo analizar y optimizar tu infraestructura existente de Hadoop o Spark para mejorar el rendimiento, reducir el tiempo de procesamiento y asegurar un uso eficiente de los recursos.

Sí, PySpark es una de mis habilidades principales. Lo uso ampliamente para construir workflows escalables de ingeniería de datos, realizar transformaciones y manejar tareas de procesamiento de big data a gran escala.

Sigo las mejores prácticas en ingeniería de datos, como verificaciones de validación, registros, manejo de errores y pruebas para garantizar alta calidad de datos y pipelines ETL confiables usando herramientas como Spark, Hadoop y Kafka.