Desarrollaré flujos de trabajo de datos en la nube con gcp bigquery airflow y dataflow
Acerca de este Servicio
Diseñaré y construiré flujos de trabajo de datos en la nube usando Google Cloud Platform (GCP), BigQuery, Airflow y Dataflow.
Con más de 4 años de experiencia como ingeniero de datos en GCP, me especializo en:
Construir pipelines ETL/ELT para ingesta y transformación de datos
Desarrollar almacenes de datos en BigQuery con particionado y clustering
Automatizar flujos de trabajo con Apache Airflow / Cloud Composer
Implementar controles de calidad de datos y scripts de validación usando Python y SQL
Migrar datos desde fuentes como Salesforce, Oracle, Hive, MySQL a BigQuery
Ya sea que necesites un pipeline ETL simple o una solución completa de ingeniería de datos de extremo a extremo, puedo entregar flujos escalables, optimizados y confiables adaptados a las necesidades de tu negocio.
Mi porfolio
FAQ
Traducción automática
P1: ¿Qué información necesita de mí para comenzar?
Necesitaré acceso a tu fuente de datos (base de datos, API o archivos), detalles del destino (por ejemplo, conjunto de datos de BigQuery) y cualquier lógica de transformación o negocio específica que quieras aplicar.
¿Puedes trabajar con múltiples fuentes de datos?
Sí, puedo integrar datos de varias fuentes como Salesforce, Oracle, Hive, MySQL, APIs y Google Cloud Storage en BigQuery u otros destinos.
¿También configuras programación y automatización?
Sí, uso Apache Airflow / Cloud Composer para programar y automatizar flujos de trabajo, de modo que tus pipelines funcionen de manera confiable sin intervención manual.
¿Puedes validar y asegurar la calidad de los datos?
Por supuesto. Incluyo controles de calidad de datos como validación de conteo de filas, consistencia de esquema y pruebas personalizadas en Python/SQL para garantizar una ingesta de datos precisa.
¿Qué pasa si necesito cambios futuros o soporte después de la entrega?
Ofrezco revisiones como parte de cada paquete y también estoy disponible para soporte a largo plazo a través de proyectos continuos en Fiverr o ofertas personalizadas.
