Construiré pipelines de Databricks con PySpark

Parte de la información se ha traducido automáticamente.

India

Hablo Inglés, Hindi

Ingeniero de datos

Ingeniero de datos con más de 5 años de experiencia creando pipelines de datos confiables y bien probados en Azure Databricks. Trabajo con Python, SQL, PySpark, Delta Lake y Unity Catalog para constru...
Acerca de este Servicio

¿Buscas un ingeniero de datos con experiencia en Databricks para construir una tubería de datos fiable y escalable? Soy un Ingeniero de Datos certificado en Databricks con más de 5 años de experiencia creando pipelines ETL a gran escala usando PySpark, Spark SQL y Delta Lake para clientes globales en finanzas y salud.


Lo que entrego:

  • Pipelines de datos ETL/ELT por lotes en PySpark y Spark SQL
  • Arquitectura de medallón (Bronze Silver Gold) en Delta Lake
  • Ingestión de datos desde CSV, JSON, Parquet y bases de datos
  • MERGE/upsert, SCD y manejo de evolución de esquemas
  • Workflows programados de Databricks (jobs)
  • Comprobaciones de calidad de datos y validación
  • Código Spark optimizado para rendimiento
  • Diagrama de arquitectura y notas de diseño de la pipeline
  • Código limpio y bien documentado


Por qué trabajar conmigo:

  • Código de grado de producción basado en casos reales
  • Experiencia procesando miles de millones de registros
  • Comunicación clara y entrega a tiempo


Si tienes más de 3 fuentes o requisitos personalizados, te enviaré una oferta a medida.

Idioma:

Inglés

•

Hindi

Experiencia técnica:

apache spark

•

Databricks

•

hadoop

Experiencia:

Canalización de datos

•

Desarrollo ETL

industria:

Análisis de Datos

•

Servicios financieros