Explorar las categorías
Explora
Fiverr Pro
Español
$
USD
Construiré pipelines de datos robustas y escalables usando pyspark, databricks y airflow
Acerca de este Servicio
¿Necesitas pipelines de datos escalables y listos para producción? Construyo arquitecturas de datos de alto rendimiento usando Databricks, PySpark, SQL, Apache Airflow y Apache Kafka. Desde ingestión simple de archivos hasta streaming en tiempo real complejo, entrego soluciones en la nube optimizadas y rentables.
Lo que ofrezco:
- ETL/ELT de extremo a extremo: Pipelines de datos seguros usando PySpark y SQL.
- Optimización de Databricks: Configuración de Delta Lake, Delta Live Tables (DLT) y Unity Catalog.
- Orquestación: DAGs automatizados en Apache Airflow con manejo de errores.
- Streaming en tiempo real: Streaming de eventos con baja latencia mediante Apache Kafka.
- Optimización del rendimiento: Reducción de costos en la nube con consultas optimizadas.
¿Por qué elegirme?
- Código limpio, listo para producción y reutilizable.
- Experiencia en la nube empresarial (AWS / Azure).
- Documentación arquitectónica gratuita incluida.
FAQ
Traducción automática
1. ¿Qué información o acceso necesitas para comenzar?
Necesito una descripción clara de tus fuentes de datos, el formato final esperado y acceso temporal y seguro a tu entorno (como tokens de acceso personal a Databricks, buckets de almacenamiento en la nube o entornos de Airflow).
¿Manejas tanto procesamiento por lotes como streaming en tiempo real?
Sí. Construyo pipelines ETL por lotes estándar usando PySpark y SQL de Databricks, así como pipelines de streaming en tiempo real con baja latencia usando Apache Kafka y Databricks Delta Live Tables (DLT).
¿Los pipelines de datos serán completamente automatizados?
Sí. Escribiré DAGs personalizados en Apache Airflow para orquestar, programar, monitorear y automatizar todo tu pipeline de datos, incluyendo manejo robusto de errores y alertas de fallos.
¿Recibiré el código fuente y la documentación?
Sí. Recibirás el 100% de propiedad de todo el código fuente (como notebooks de PySpark, scripts SQL y archivos DAG de Airflow), junto con documentación técnica clara y fácil de entender sobre cómo ejecutarlo.
