Construiré pipelines de datos usando databricks, pyspark, azure y sql
Acerca de este Servicio
Construiré, optimizaré o solucionaré problemas en pipelines de datos usando Databricks, PySpark, Azure Data Factory, Azure Data Lake, Delta Lake y SQL.
Con más de 5 años de experiencia en ingeniería de datos a nivel empresarial, puedo ayudarte a convertir datos en bruto en pipelines de datos confiables, escalables y fáciles de mantener.
Mis servicios incluyen:
Desarrollo de pipelines ETL/ELT
Desarrollo en Databricks y PySpark
Orquestación con Azure Data Factory
Ingesta y transformación de datos
Desarrollo y optimización de SQL
Soluciones Delta Lake
Procesamiento por lotes e incremental
Verificación y validación de calidad de datos
Solución de problemas y optimización de pipelines
Migración de datos a Databricks
Pruebas unitarias y documentación técnica
Ya sea que necesites un pipeline nuevo, arreglar un flujo de trabajo existente o modernizar una plataforma de datos, puedo trabajar con tu arquitectura y requisitos existentes.
Me enfoco en una implementación limpia, procesamiento escalable con Spark, flujos de datos confiables y documentación clara.
Por favor, envíame un mensaje antes de hacer un pedido con tus requisitos, detalles de fuente/destino y entregables esperados para que pueda confirmar el alcance y recomendar el paquete adecuado.
Herramientas y plataformas:
Azure Data Factory
•
Otros
FAQ
Traducción automática
1. ¿Con qué tecnologías trabajas?
Databricks, PySpark, Azure Data Factory, Azure Data Lake, Delta Lake, SQL y servicios de datos relacionados de Azure.
¿Puedes construir un pipeline ETL completo?
Sí. Dependiendo del paquete, puedo manejar ingesta, transformación, orquestación, verificaciones de calidad de datos, pruebas y documentación.
¿Puedes arreglar un pipeline de Databricks o PySpark existente?
Sí. Puedo solucionar errores, revisar código existente, identificar cuellos de botella e implementar mejoras.
¿Puedes migrar pipelines existentes a Databricks?
Sí. Puedo ayudar a migrar y modernizar cargas de trabajo de datos existentes usando Databricks, PySpark y Delta Lake.
5. ¿Qué información necesitas para comenzar?
Por favor, proporciona tus requisitos, sistemas de origen y destino, datos o esquema de muestra si aplica, código o pipelines existentes y salida esperada.
¿Puedes manejar requisitos personalizados?
Sí. Si tu requisito no encaja en los paquetes listados, contáctame primero para definir el alcance y crear una oferta personalizada.
