Explorar las categorías
Explora
Fiverr Pro
Español
$
USD
Desarrollaré pipelines de datos ETL y trabajos de pyspark en azure databricks
Ingeniero de datos en Azure para pipelines ETL en Databricks
Soy un estudiante motivado de Ingeniería de Software con experiencia práctica en pipelines de ingeniería de datos y desarrollo full-stack. Tengo habilidades en construir procesos ETL escalables usando...
Acerca de este Servicio
¡Bienvenido a mi servicio de consultoría en Azure Data Engineering!
¿Buscas transformar tus datos en bruto en insights limpios y útiles? Me especializo en diseñar y construir pipelines de datos robustos y escalables usando el Azure Data Stack moderno, con un enfoque principal en Azure Databricks y PySpark.
Ya sea que necesites una hoja de ruta arquitectónica, un script optimizado simple o un pipeline ETL/ELT completo de principio a fin, estoy aquí para ayudarte a que tus datos se muevan de manera fluida y segura.
Lo que ofrezco en este gig:
- Configuración de Data Lake: Organizar tu almacenamiento usando las mejores prácticas como la arquitectura Bronze/Silver/Gold (Medallion).
- Desarrollo de pipelines ETL: Escribir código limpio y eficiente en PySpark o SQL para extraer, transformar y cargar tus datos.
- Orquestación: Diseñar el flujo automatizado de tus datos usando herramientas como Azure Data Factory.
- Optimización de rendimiento: Depurar y acelerar notebooks Spark lentos.
- Diagramas de arquitectura y auditorías: Proporcionar documentación visual clara y recomendaciones profesionales para tu configuración actual.
FAQ
Traducción automática
¿Necesito proporcionar mi propio entorno de Azure?
Sí, deberás darme acceso seguro a tu suscripción de Azure (como una cuenta de invitado con permisos específicos en el grupo de recursos) para que pueda construir, probar y desplegar los pipelines directamente en tu espacio de trabajo.
¿Qué es la arquitectura Medallion que mencionaste?
Es un patrón de diseño de datos muy eficiente usado en Databricks. Organiza lógicamente los datos en un lakehouse en tres capas distintas: Bronze (datos en crudo, ingeridos), Silver (datos limpios y filtrados) y Gold (agregados a nivel empresarial listos para análisis e informes).
¿Puedes arreglar un error en mi código PySpark existente?
¡Por supuesto! El paquete básico es perfecto para esto. Puedo auditar tu notebook actual, identificar el cuello de botella o error y ofrecerte el código optimizado y corregido.
¿Tenemos que hacer una videollamada para la consultoría?
¡Para nada! Aunque Fiverr proporciona un enlace de Zoom, podemos mantener las cámaras apagadas para una llamada solo de audio, o usar ese tiempo para charlar extensamente por texto mientras reviso tu arquitectura y objetivos de datos.
