Explorar las categorías
Explora
Fiverr Pro
Español
$
USD
Construiré pipelines de datos, ETL en AWS usando glue, pyspark, s3 y redshift
Ingeniero de datos senior en AWS que crea plataformas de datos escalables y listas para IA
Soy un ingeniero de datos senior en AWS con más de 8 años de experiencia en la creación de plataformas de datos confiables y listas para producción. Ayudo a los equipos a diseñar, auditar y optimizar ...
Acerca de este Servicio
Construiré pipelines de datos confiables en AWS para análisis, informes, dashboards y casos de uso de data warehouse.
Este servicio es adecuado si tienes datos provenientes de archivos, bases de datos, APIs, aplicaciones, S3 o bases de datos existentes y quieres procesarlos usando servicios de AWS como Amazon S3, AWS Glue, EMR/PySpark, Redshift, Athena, Lambda, DMS, Airflow/MWAA u otras herramientas relacionadas.
Puedo ayudarte con:
- Diseño e implementación de pipelines ETL/ELT en AWS
- Ingesta de datos desde archivos, APIs, bases de datos o almacenamiento en la nube
- Estructura de data lake en S3
- Workflows con Glue, EMR, PySpark, Redshift y Athena
- Limpieza, transformación y carga de datos
- Verificación de calidad de datos y validaciones
- Registro, puntos de auditoría y monitoreo básico
- Corrección y mejoras en pipelines
- Recomendaciones sobre costos, rendimiento y escalabilidad
- Documentación y notas de entrega
Casos de uso comunes:
- Construir un nuevo pipeline de datos en AWS
- Migrar de On-Prem a AWS
- Mover datos a S3 o Redshift
- Preparar datos para BI/informes
- Mejorar un proceso ETL existente
- Crear conjuntos de datos listos para análisis
- Revisar la calidad, costo o escalabilidad del pipeline
Por favor, envía un mensaje antes de ordenar para confirmar tu fuente de datos, configuración en AWS, salida esperada, requisitos de acceso y el paquete adecuado.
Plataforma de destino:
Amazon Redshift
•
Postgresql
•
Amazon S3
•
Otros
Herramientas y plataformas:
AWS Glue DataBrew
•
Otros
Mi porfolio
Otros servicios de Ingeniería de datos que ofrezco
FAQ
Traducción automática
¿Con qué servicios de AWS trabajas?
Trabajo con Amazon S3, AWS Glue, EMR/PySpark, Redshift, Athena, Lambda, DMS, Airflow/MWAA, IAM, CloudWatch y otros servicios de datos relacionados en AWS.
¿Puedes construir un pipeline completo de AWS ETL?
Sí. Puedo construir pipelines de AWS ETL/ELT para archivos, APIs, bases de datos o almacenamiento en la nube y preparar datos para análisis, informes, Athena, Redshift o dashboards.
¿Necesito proporcionar acceso a AWS?
Para trabajos de implementación, puede ser necesario acceso limitado a AWS. Si prefieres, primero revisamos requisitos, capturas, datos de muestra o arquitectura antes de compartir acceso.
¿Puedes mejorar un pipeline existente en AWS?
Sí. Puedo revisar, arreglar, mejorar u optimizar pipelines existentes en AWS, incluyendo lógica ETL, trabajos Spark, estructura en S3, uso de Redshift/Athena, verificaciones de calidad y problemas de rendimiento.
¿Puedes migrar datos desde bases de datos o fuentes on-prem a AWS?
Sí. Puedo ayudar a migrar datos desde bases de datos on-prem, archivos u otras fuentes a AWS usando servicios como S3, AWS Glue, DMS, EMR/PySpark, Redshift y Athena, dependiendo de tu fuente, volumen y caso de uso.
¿Proporcionas verificaciones de calidad de datos?
Sí. Los paquetes estándar y premium pueden incluir verificaciones básicas de calidad de datos, reglas de validación, comprobaciones de duplicados, verificaciones de esquema y puntos de registro.
¿Puedes trabajar con grandes conjuntos de datos?
Sí. Puedo diseñar pipelines escalables usando S3, Glue, EMR/PySpark, particionado, Parquet, Athena y Redshift, dependiendo del volumen de datos y necesidades de procesamiento. Tengo experiencia trabajando con petabytes y terabytes de datos.
¿Proporcionará documentación?
Sí. La entrega incluye documentación o notas de entrega según el paquete seleccionado, incluyendo flujo del pipeline, pasos de configuración, supuestos e instrucciones de uso.
¿Debo enviar un mensaje antes de realizar un pedido?
Sí, por favor envía un mensaje antes de ordenar para confirmar tu fuente de datos, configuración en AWS, salida esperada, requisitos de acceso, cronograma y el mejor paquete.
