Construiré, arreglaré u optimizaré tu pipeline de datos ETL en python
Ingeniero de datos senior y ingeniero de productos de IA
Acerca de este Servicio
¿Necesitas que construya, arregle o mejore un pipeline de datos?
Soy un ingeniero de datos senior con experiencia en entregar sistemas de datos en producción en banca, construcción y startups, incluyendo trabajo de transformación de datos en la integración de UBSCredit Suisse.
Puedo ayudarte a:
Construir pipelines ETL/ELT desde APIs, bases de datos o archivos
Depurar y mejorar pipelines existentes en Python, SQL o PySpark
Integrar APIs con bases de datos, data lakes o warehouses
Construir flujos de trabajo en Databricks, Azure Data Factory o Airflow
Agregar validaciones, controles de calidad de datos y pruebas
Mejorar procesos de datos lentos o costosos
Documentar tu pipeline para facilitar su mantenimiento
Trabajo con Python, SQL, Databricks, PySpark, Delta Lake, Azure Data Factory, Airflow, PostgreSQL, SQL Server y plataformas de datos en Azure.
Cada proyecto es diferente, así que para algo más que una pequeña reparación, por favor envíame un mensaje antes de ordenar. Te ayudaré a definir el alcance y recomendar la solución más sencilla.
Mi porfolio
FAQ
Traducción automática
¿Qué necesitas de mí antes de comenzar?
Una descripción del problema, tus fuentes y destinos de datos actuales, y cualquier código, esquema o documentación de API relevante. Para proyectos más grandes, por favor envíame un mensaje antes de ordenar para que podamos acordar el alcance.
¿Puedes arreglar un pipeline existente en lugar de construir uno nuevo?
Sí. Puedo solucionar problemas en pipelines de Python, SQL, PySpark, Databricks, Azure Data Factory y relacionados, identificar la causa de un problema y aplicar una solución.
¿Con qué fuentes de datos puedes trabajar?
Puedo trabajar con APIs REST, bases de datos SQL, PostgreSQL, SQL Server, archivos como CSV/JSON/Parquet, data lakes y otras fuentes comunes. Envíame un mensaje si tienes un sistema menos habitual.
¿Puedes optimizar un pipeline lento o costoso?
Sí. Puedo revisar la arquitectura y el código, identificar cuellos de botella y mejorar áreas como transformaciones, procesamiento en Spark, distribución de datos, paralelismo y cálculos innecesarios.
¿Puedes trabajar con Databricks y Azure?
Sí. Databricks y Azure Data Engineering son áreas centrales de mi experiencia profesional, incluyendo PySpark, Delta Lake, Azure Data Factory, ADLS y plataformas basadas en SQL.
¿Debo comunicarme con usted antes de realizar el pedido?
Para el paquete Basic, generalmente se puede ordenar una tarea pequeña claramente definida directamente. Para Standard, Premium o cualquier proyecto donde el alcance no esté claro, por favor envíame un mensaje primero.
