Explorar las categorías
Explora
Fiverr Pro
Español
$
USD
Construiré un pipeline de big data dockerizado usando spark y hadoop
DOTNET, C sharp, pipelines ETL
Más de 4 años de experiencia en fintech con .NET / C# (6+ años en total). Creo y mantengo sistemas críticos para la infraestructura de banca de inversión.
Puedo ayudarte con:
✅ APIs REST backend en ...
Acerca de este Servicio
Configuraré un pipeline de Big Data completamente Dockerizado usando Apache Spark y Hadoop, listo para el procesamiento de datos en tiempo real o flujos de trabajo ETL por lotes. Ideal tanto para implementación local como en la nube.
Qué está incluido (según el paquete seleccionado):
- Configuración de Docker Compose para Spark + Hadoop
- Trabajo de Spark de muestra preconfigurado
- Salida HDFS integrada
- Base de código limpia y modular con comentarios
- Instrucciones paso a paso para uso local o en la nube
Casos de uso:
- Ingesta y transformación de datos de sensores de IoT
- Análisis de transacciones financieras
- Procesamiento por lotes de grandes conjuntos de datos CSV/JSON
- Canalización de series temporales a HDFS para almacenamiento a largo plazo
- Enriquecimiento de IA GPT opcional mediante la API OpenAI para resumen o etiquetado
Ideal para ingenieros, empresas emergentes o equipos que necesitan una vía rápida hacia una infraestructura de datos escalable.
¿Necesitas extras como una API REST, integración con OpenAI, monitorización (Grafana/Prometheus) o implementación de AWS EC2? ¡Solo tienes que decirlo!
Tenga en cuenta :
- Los entregables dependen del paquete seleccionado
- Hay ofertas personalizadas disponibles: ¡solo envíeme un mensaje!
- Se incluyen 2 mensajes de seguimiento para aclaración después de la entrega.
- Usted es responsable de realizar pruebas/ejecuciones en su propio entorno.
- El uso de OpenAI requiere su propia clave API
Herramientas y plataformas:
Kafka Connect
•
Apache NiFi
•
Otros
FAQ
Traducción automática
¿Funcionará esto en mi máquina local?
¡Sí! Ofrezco una configuración de Docker Compose compatible con cualquier sistema con Docker y más de 4 GB de RAM.
¿Puedo implementar esto en la nube?
Por supuesto. Te guiaré por los pasos básicos de implementación en servicios como AWS EC2. Dime cuál es tu plataforma preferida.
¿Incluye un trabajo Spark real?
Sí, obtendrá un trabajo de muestra funcional que lee y escribe en HDFS y es fácil de ampliar según sus propias necesidades.
¿Qué pasa si también necesito la integración de Kafka o Flink?
Está disponible como extra personalizado o como servicio de seguimiento. ¡No dudes en contactarme para hablar sobre ello!
¿Está incluido el código fuente?
Sí, el código fuente está completamente incluido y bien comentado para una fácil personalización.
¿Puede agregar integración GPT u OpenAI a este pipeline?
¡Sí! Ofrezco integración con OpenAI GPT para procesar o enriquecer tus datos en Spark. Solo selecciona el extra por servicio o envíame un mensaje para una configuración personalizada.
