Seré tu experto en databricks y pyspark para pipelines de ETL

Parte de la información se ha traducido automáticamente.

Reino Unido

Hablo Inglés

Ingeniero senior de datos y AI, certificado en Databricks, 11 años

Soy un profesional con más de 11 años de experiencia en ingeniería de software y datos. Tengo un historial comprobado liderando equipos ágiles, automatizando procesos ETL e infraestructura, optimizand...
Acerca de este Servicio

¿Necesitas pipelines de Databricks a prueba de fallos que no se rompan a las 3 de la mañana? Estás en el lugar correcto.

Soy un ingeniero de datos certificado en Databricks (Profesional) con más de 10 años creando sistemas de datos en producción para empresas de comercio de energía, banca, retail y análisis de criptomonedas, incluyendo OVO Energy, Bank of America y Sainsbury's.

Lo que construiré para ti:

  1. ️Pipelines escalables en PySpark / Scala Spark en Databricks
  2. Arquitectura DeltaLake (medallón de bronce/plata/oro)
  3. ETL en streaming y batch con Kafka, Auto Loader o Structured Streaming
  4. Configuraciones de clúster optimizadas en costos (he entregado más de 80 mil libras en ahorros anuales en la nube)
  5. Código limpio, probado y documentado que puedes entregar a tu equipo

Mi stack: Databricks, PySpark, Scala, DeltaLake, Airflow, Kafka, Snowflake, BigQuery, Terraform, AWS, GCP.

Mi proceso: Llamada de descubrimiento -> aprobación de arquitectura -> construcción -> prueba -> revisión -> entrega. Sin sorpresas, sin aumento de alcance.

Envíame un mensaje antes de ordenar para que pueda definir bien tu proyecto y confirmar que encaja. Respondo en menos de 1 hora durante el horario laboral del Reino Unido.

Construyamos algo sólido.

Experiencia:

Integración API

Automatizaciones

Big data

Tecnología:

Apache Kafka

apache spark

Python

Snowflake

Databricks