Construiré pipelines de datos ETL con Python, SQL, Spark, Azure y Palantir Foundry
Ingeniero de datos, Palantir Foundry, Spark, Azure y Python
Acerca de este Servicio
Diseño, construyo y mejoro pipelines de datos confiables para análisis, informes y casos de uso operativos.
Puedo ayudar con:
Desarrollo de pipelines ETL y ELT
Transformaciones en Python, SQL, Spark y PySpark
Flujos de trabajo de datos en Azure y Databricks
Pipelines de Palantir Foundry, modelado de datos y trabajo con ontologías
Ingesta de datos mediante API y archivos
Validación, transformación y controles de calidad de datos
Depuración de pipelines y optimización del rendimiento
Documentación técnica y código fuente mantenible
Conjuntos de datos y capas de informes listos para Power BI
Antes de realizar el pedido, comparte el objetivo del negocio, los sistemas fuente y destino, esquema o datos de muestra, volumen y frecuencia esperados, transformaciones requeridas, restricciones de la plataforma y expectativas de entrega. Revisaré el alcance y recomendaré el paquete adecuado.
El acceso a sistemas privados debe proporcionarse mediante métodos seguros y aprobados.
Herramientas y plataformas:
Azure Data Factory
•
Otros
Mi porfolio
FAQ
Traducción automática
¿Trabaja con grandes conjuntos de datos?
Sí. Puedo diseñar transformaciones de Spark y PySpark para grandes conjuntos de datos. Comparte el volumen aproximado, la frecuencia, el entorno y los requisitos de rendimiento para que pueda confirmar el alcance.
¿Puedes automatizar el proceso de ETL?
Sí. Puedo automatizar flujos de trabajo ETL o ELT programados usando la plataforma acordada, incluyendo Azure Data Factory, Databricks o Palantir Foundry cuando sea apropiado.
¿Este trabajo incluye flujos de trabajo de machine learning?
Puedo preparar y automatizar la canalización de datos alrededor de un workflow de ML. El desarrollo del modelo o MLOps deben revisarse y definirse por separado según los datos, la plataforma y las necesidades de despliegue.
¿Puedes preparar datos para Power BI o informes?
Sí. Puedo crear conjuntos de datos validados y listos para informes, así como capas de transformación para Power BI. El desarrollo de dashboards puede incluirse cuando se acuerde en el alcance.

