Configuraré o auditaré tu plataforma de datos Snowflake y dbt

Parte de la información se ha traducido automáticamente.

Pakistán

Hablo Inglés

181 pedidos completados

Ingeniero senior de datos e IA, RAG, LangChain, Snowflake, dbt, Agents, Clickhouse

Construyo plataformas de datos y pipelines de LLM que operan en producción. 10 años en ingeniería de software y datos, desde 2016. Ingeniero de datos II en Careem (Uber), donde nuestro equipo de Data...

Nivel 2

Ha cumplido con los criterios de alto rendimiento y tiene un historial comprobado de cumplimiento de las expectativas de los clientes.

Acerca de este Servicio

Un almacén de Snowflake que creció sin plan se vuelve lento, caro y poco confiable. Lo configuro correctamente o audito el que ya tienes.


Instalación:

  • Bases de datos, almacenes, roles y permisos gestionados con Terraform
  • Proyecto dbt con capas de staging, intermedias y de mart, tests y documentación
  • CI/CD con GitHub Actions: ejecuciones y pruebas de dbt en cada pull request
  • Ingestión con Dagster, Airflow, Meltano o Fivetran

Auditoría:

  • Tamaño del warehouse, auto-suspensión y las consultas que consumen créditos
  • Estructura de modelos, pruebas, modelos incrementales y nomenclatura
  • Acceso, enmascaramiento y quién puede ver datos personales
  • Informe escrito con correcciones clasificadas por impacto

Historial: lideré una plataforma de Snowflake para un unicornio de tecnología de entregas en EE. UU. (Dagster en Kubernetes, CDC basado en logs desde Postgres) y poseí la capa de Snowflake de una plataforma de emparejamiento LLM en producción, incluyendo acceso entre nubes y enmascaramiento dinámico de datos.

Plataforma de almacenes:

Snowflake

•

BigQuery

•

ClickHouse

Tipo de proyecto:

Nueva creación

Mi porfolio

Otros servicios de Ingeniería de datos que ofrezco