Diseñaré y construiré tu arquitectura de data lake en AWS
Ingeniero de datos sénior
Acerca de este Servicio
¿Luchas con un data lake lento, desordenado o inexistente en AWS? Ayudo a las empresas a diseñar y construir arquitecturas de data lake escalables y listas para producción usando S3, Glue, EMR y Athena, la misma pila que uso a diario liderando ingeniería de datos para un cliente del sector bancario y servicios financieros con un data lake de múltiples terabytes.
Ya sea que comiences desde cero o necesites arreglar una configuración existente, puedo ayudarte con:
Diseño de arquitectura de data lake (capas de análisis en etapa de bronce)
Configuración del catálogo de AWS Glue y acceso entre cuentas
Optimización de consultas en Athena/Presto
Diseño de pipelines de datos a gran escala en S3/Parquet
Recomendaciones para pipelines ETL usando Spark
He diseñado pipelines que manejan más de 100 GB de datos con ciclos de actualización quincenales, resolví problemas de catálogo Glue entre cuentas y convertí lógica legacy de SQL Server en consultas compatibles con Athena, problemas reales de producción, no trabajos de nivel tutorial.
Hablemos de tu configuración de datos y te ayudaré a construir algo que escale.
Idioma:
Inglés
•
Hindi
Experiencia técnica:
apache spark
•
Amazon S3
•
Otros
industria:
Análisis de Datos

