Construiré un pipeline de ETL en databricks con delta lake para tu data warehouse

Parte de la información se ha traducido automáticamente.

Pakistán

Hablo Inglés

17 pedidos completados

Ingeniero de Software, Ingeniero de Datos

Soy ingeniero de software y datos con experiencia en producción creando sistemas de nivel empresarial en plataformas cloud. Como ingeniero de datos, he trabajado con arquitectura lakehouse y medallio...
Acerca de este Servicio

La mayoría de las canalizaciones de datos fallan en silencio. Sin rastro de auditoría, sin controles de calidad,

un solo script haciendo todo. Tus analistas ejecutan la misma consulta dos veces

y obtienen números diferentes.


Yo construyo canalizaciones que no hacen eso.


LO QUE OBTIENES


Arquitectura medallion en Databricks + Delta Lake:


  • Bronze: los datos en bruto se almacenan de forma inmutable. Tu punto de recuperación.
  • Silver: cada fila pasa por un control de calidad. Los fallos se registran.
  • Gold: tablas Delta agregadas y listas para BI. Rápidas. Confiables.


Orquestado como un DAG de Workflow en Databricks totalmente automatizado.


POR QUÉ FUNCIONA


  • Reejecución idempotente que nunca duplica ni pierde datos
  • Métricas de DQ auditables, registradas y consultables
  • Recuperable: cualquier capa se reconstruye desde Bronze


CON QUIEN TRABAJO


Fuentes: CSV, Parquet, JSON, REST API, PostgreSQL, S3, ADLS

Plataformas: Databricks en Azure o AWS


ANTES DE PEDIR


Primero envíame un mensaje con tu fuente de datos y tu pregunta de negocio.

Confirmo el alcance antes de que hagas el pedido. Sin sorpresas.

Plataforma de destino:

Snowflake

Google BigQuery

Amazon Redshift

Herramientas y plataformas:

Fivetran

AWS Glue DataBrew

Mi porfolio