Haré construir o arreglar pipelines CDC con Debezium, Kafka y Postgres

Parte de la información se ha traducido automáticamente.

Pakistán

Hablo Inglés

181 pedidos completados

Ingeniero senior de datos e IA, RAG, LangChain, Snowflake, dbt, Agents, Clickhouse

Construyo plataformas de datos y pipelines de LLM que operan en producción. 10 años en ingeniería de software y datos, desde 2016. Ingeniero de datos II en Careem (Uber), donde nuestro equipo de Data...

Nivel 2

Ha cumplido con los criterios de alto rendimiento y tiene un historial comprobado de cumplimiento de las expectativas de los clientes.

Acerca de este Servicio
  • La captura de cambios (CDC) se rompe en silencio. Los slots de replicación se quedan atascados y llenan el disco, las columnas grandes llegan como marcadores de posición, y las sentencias MERGE sobrescriben filas válidas mientras cada panel se mantiene en verde.

Construyo CDC que aguante, o arreglo el que ya tienes:

  • CDC basado en logs desde Postgres o MySQL con Debezium, Kafka, Meltano o Maxwell
  • Cargas en Snowflake, BigQuery o Postgres con la lógica MERGE correcta para borrados y actualizaciones
  • Correcciones para sobrescrituras silenciosas de TOAST en Postgres
  • Monitoreo de slots de replicación y una ruta de recuperación segura, sin recarga completa
  • Comprobaciones de reconciliación para que cuenten y valores de origen y destino coincidan

Historial de entregas:

  • ReplicaPostgres reconstruido con CDC basado en logs hacia Snowflake para una unicornio de tecnología de entrega en EE. UU.
  • Creé un agente que limpia slots de replicación atascados y ejecuta una actualización parcial limpia, sin que nadie sea notificado
  • Careem: CDC en tiempo real mediante Maxwell, Kafka y Spark Streaming
  • Escribí el informe sobre el bug de sobrescritura silenciosa de TOAST en Debezium y su corrección en tres capas

Idioma:

Inglés

Experiencia técnica:

Apache Airflow

•

Dagster

•

apache spark

Experiencia:

Canalización de datos

industria:

Audio y video

•

Ciberseguridad

•

Análisis de Datos

Mi porfolio

Otros servicios de Ingeniería de datos que ofrezco

Etiquetas relacionadas