Explorar las categorías
Explora
Fiverr Pro
Español
$
USD
Construiré un pipeline de data lakehouse en tiempo real
Desarrollador en Python, FastAPI, Web Scraping, automatización con IA, ingeniería de datos
Soy ingeniero de datos con más de 3 años de experiencia en la industria creando APIs RESTful, sistemas de web scraping y aplicaciones impulsadas por IA. Me especializo en FastAPI, Streamlit y LangGrap...
Acerca de este Servicio
¿Buscas construir un pipeline de datos en tiempo real que mantenga tu data warehouse siempre actualizado sin trabajos ETL manuales?
Diseñaré y entregaré un pipeline de data lakehouse completamente automatizado, de extremo a extremo, que capture cada cambio en tu base de datos en el momento en que sucede, lo transmita a través de Kafka y lo coloque en tablas Delta Lake consultables, todo orquestado y monitoreado por Apache Airflow.
Lo que obtienes:
- CDC en vivo desde tu base de datos MySQL (sin tiempo de inactividad, sin exportaciones manuales)
- Procesamiento de streams escalable con Apache Spark
- Almacenamiento Delta Lake compatible con S3 (MinIO) consultable con Trino o Spark SQL
- DAG de Airflow para chequeos de salud automatizados y monitoreo del pipeline
- Ejecutado completamente en Docker en tu servidor o VM en la nube
- Guía de configuración y documentación incluida
Perfecto para startups, equipos de datos y negocios que necesitan disponibilidad de datos en tiempo real confiable sin gestionar infraestructura compleja desde cero.
Mi porfolio
FAQ
Traducción automática
¿Qué información necesitas para empezar?
Necesito detalles sobre tu base de datos fuente (tipo, versión, tamaño), tu destino de almacenamiento preferido y tu entorno de servidor/nube. Si no estás seguro, una llamada de descubrimiento gratuita puede ayudarte a definirlo.
¿Puedes conectarte a mi base de datos existente sin tiempo de inactividad?
Sí. Usando CDC (Change Data Capture) vía Debezium, el pipeline lee el log binario de tu MySQL — sin bloqueos, sin tiempo de inactividad, sin impacto en tu aplicación en marcha.
¿Qué entrega el pipeline en tiempo real?
Cada INSERT, UPDATE y DELETE en tu base de datos fuente se captura al instante y se coloca en tablas Delta Lake en MinIO (compatible con S3) en segundos — consultables mediante Spark SQL o Trino.
¿Necesito infraestructura en la nube o esto funciona en local?
Ambos. Toda la pila funciona en Docker Compose — despliega en tu servidor local, una VM en la nube (AWS EC2, GCP, Azure) o cualquier máquina Linux con 8GB+ de RAM.
¿Puedes manejar cambios en el esquema de mi base de datos fuente?
Sí. El pipeline está diseñado pensando en la evolución del esquema. Configuro Debezium y Spark para manejar nuevas columnas y cambios de tipo sin romper el pipeline.
¿Firmarás un NDA si mis datos son sensibles?
Por supuesto. Estoy dispuesto a firmar un NDA antes de comenzar el proyecto.
¿Ofrecen soporte post-entrega?
Sí — 7 días (Básico), 14 días (Estándar), 30 días (Premium) para correcciones de bugs y problemas de despliegue.
