Construiré pipelines de ETL en Azure usando adf databricks y pyspark
Ingeniero de datos de Azure
Acerca de este Servicio
¿Buscas un ingeniero de datos confiable en Azure para construir u optimizar tus pipelines de ETL?
Puedo ayudarte a crear soluciones de datos escalables y eficientes usando Azure Data Factory (ADF), Azure Databricks, PySpark y Azure Data Lake Storage Gen2.
Ya sea que necesites ingesta de datos, transformación, orquestación de flujos de trabajo o una solución de ETL de extremo a extremo, puedo ofrecerte una implementación limpia y fácil de mantener adaptada a tus necesidades.
Lo que obtendrás:
Desarrollo de pipelines en Azure Data Factory (ADF)
Ingesta de datos dinámica y parametrizada
Transformaciones en Azure Databricks y PySpark
Desarrollo de pipelines ETL/ELT
Implementación de arquitectura Medallion
Validación de calidad de datos
Orquestación y monitoreo de pipelines
Documentación técnica
Resumen de paquetes:
Básico: Pipeline de ingesta simple en ADF con 1 conector
Estándar: Solución ETL en ADF + Databricks con controles de calidad y documentación
Premium: Solución completa de Azure ETL con orquestación, transformaciones y documentación completa
Tecnologías:
Azure Data Factory, Azure Databricks, PySpark, ADLS Gen2, Delta Lake, SQL, CSV y JSON.
Por favor, contáctame antes de hacer un pedido para discutir tus requisitos y seleccionar el mejor paquete.
Plataforma de destino:
Databricks Lakehouse
•
Otros
Herramientas y plataformas:
Azure Data Factory
•
Otros
Mi porfolio
FAQ
Traducción automática
¿Qué fuentes de datos puedes integrar?
Puedo trabajar con archivos CSV, archivos JSON, bases de datos SQL, Azure Storage y otras fuentes de datos soportadas por Azure Data Factory.
¿Desarrollas pipelines en Azure Data Factory (ADF)?
Sí. Diseño y desarrollo pipelines en ADF dinámicos, parametrizados y escalables para ingesta de datos, orquestación y cargas de trabajo ETL.
¿Trabajas con Azure Databricks y PySpark?
Sí. Desarrollo notebooks en Databricks y transformaciones en PySpark para limpieza, enriquecimiento e implementaciones de arquitectura Medallion.
¿Puedes modificar u optimizar pipelines de ETL existentes?
Sí. Puedo solucionar problemas, optimizar, mejorar y mantener soluciones existentes en Azure Data Factory y Databricks.
¿Qué información necesitas antes de iniciar el proyecto?
Comparte los detalles de tu sistema fuente, destino, requisitos comerciales, reglas de transformación y salida esperada. Esto me ayuda a recomendar la mejor solución y paquete.
¿Qué paquete debo elegir?
El paquete Básico es adecuado para pipelines simples de ingesta en ADF. Estándar es ideal para soluciones ETL en ADF + Databricks. Premium se recomienda para proyectos completos de Azure ETL de extremo a extremo con orquestación, transformaciones y documentación.
¿Qué pasa si mis requisitos no están cubiertos por tus paquetes?
No hay problema. Envíame tus requisitos y puedo recomendarte el mejor paquete o crear una oferta personalizada según el alcance del proyecto.
¿Están incluidos los costos de la nube de Azure en el precio del gig?
No. El precio del gig cubre solo los servicios de desarrollo e implementación. Cualquier costo de suscripción a Azure o infraestructura en la nube es responsabilidad del cliente.
¿Puedo agregar más fuentes de datos o conectores?
Sí. Se pueden agregar conectores adicionales mediante Gig Extras o una oferta personalizada basada en tus requisitos.
¿Ofrecen soporte después de la entrega del proyecto?
Sí. Ofrezco soporte post-entrega para problemas relacionados con la solución entregada y también puedo ayudar con futuras mejoras.

