Construiré una canalización de datos gpt con kafka, spark y docker
¡Transmitamos tus datos con IA!
Acerca de este Servicio
Construiré una pipeline completa en tiempo real usando Apache Kafka, Spark Streaming y OpenAI GPT (ChatGPT). El sistema resume datos en streaming en tiempo real y funciona dentro de Docker para facilitar su despliegue en cualquier lugar.
Obtendrás (según el paquete que elijas):
- Resumen GPT con FastAPI y prueba con curl
- Integración Kafka Spark GPT
- Almacenamiento opcional en HDFS o productor Spring Boot
- Configuración con Docker Compose
- Logs de ejemplo y datos de prueba
Puedes usar esto para:
- Compresión de logs
- Procesamiento de alertas en streaming
- Tableros en tiempo real
- Logs de soporte mejorados con GPT
- Monitoreo de transacciones
- Detección de anomalías con retroalimentación de GPT
- Monitoreo con dashboards de Prometheus + Grafana
- Cualquier otra cosa que se te ocurra
Todo es modular, probado y listo para producción. Proporcionarás tu propia clave de OpenAI de forma segura mediante .env.
Ten en cuenta:
- Los entregables dependen del paquete que elijas
- Ofertas personalizadas disponibles, ¡solo envíame un mensaje!
- Incluye 2 mensajes de seguimiento para aclaraciones después de la entrega
- Eres responsable de probar y ejecutar en tu propio entorno
- El uso de OpenAI requiere tu propia clave API
Tecnología:
Apache Hadoop
•
Apache Kafka
•
apache spark
•
Java
•
SQL
Mi porfolio
Otros servicios de Ingeniería de datos que ofrezco
FAQ
Traducción automática
¿Esto funcionará con GPT-3.5 o GPT-4?
Sí. Si tu clave de API de OpenAI tiene acceso a GPT-4, se usará. De lo contrario, el valor predeterminado es GPT-3.5-turbo.
¿Puedo probar esto localmente?
Por supuesto. Todo está completamente Dockerizado. Solo necesitas tener Docker instalado, sin configuración manual ni de Python.
¿Puedes desplegar esto en AWS por mí?
¡Sí! Puedo desplegar toda la pipeline en una instancia EC2 como una oferta personalizada. Solo envíame un mensaje para más detalles.
¿Esto funcionará en Windows/Mac/Linux?
Sí, ya que funciona en Docker, es independiente del sistema operativo.
¿Está incluido el uso de OpenAI?
Necesitarás tu propia clave de API de OpenAI. Te guiaré sobre cómo configurarla de forma segura mediante un archivo .env.
¿Guarda los resúmenes en HDFS?
Por defecto, los resúmenes se registran en la consola. Si quieres almacenarlos, puedo modificar la lógica. Solo pregunta.
3 comentarios sobre este Servicio
| (3) | ||
| (0) | ||
| (0) | ||
| (0) | ||
| (0) |
Desglose de calificaciones
- Nivel de comunicación del Freelancer
- Calidad de la entrega
- Valor de la entrega
Ordenar por
T thethirdone
Cliente recurrente

Suecia
Took charge of the task and generated valuable insights about infrastructure. Shows that he has a good understanding of the subject and enables coming up with proactive and pragmatic ideas when the original specification was blurry. Also, good at reading through messy documentation.
USD50-USD100
Precio
4 días
Tiempo
Útil?T thethirdone
Cliente recurrente

Suecia
Excellent work developing a custom solution even though documentation available online is hard to interpret. Saved me a lot of time and was very transparent throughout the entire project process. Would recommend and be happy to work with again on future projects.
USD50-USD100
Precio
7 días
Tiempo
Útil?A antoinedubo
Cliente recurrente

Bélgica
I've worked with Michal and have been really happy with the experience. He's knowledgeable, professional, and communicates well throughout the project. Everything has gone smoothly, and I plan to keep working with him. Definitely recommend.
USD100-USD200
Precio
5 días
Tiempo
Útil?
3 comentarios sobre este Servicio
| (3) | ||
| (0) | ||
| (0) | ||
| (0) | ||
| (0) |
Desglose de calificaciones
- Nivel de comunicación del Freelancer
- Calidad de la entrega
- Valor de la entrega
Ordenar por
T thethirdone
Cliente recurrente

Suecia
Took charge of the task and generated valuable insights about infrastructure. Shows that he has a good understanding of the subject and enables coming up with proactive and pragmatic ideas when the original specification was blurry. Also, good at reading through messy documentation.
USD50-USD100
Precio
4 días
Tiempo
Útil?T thethirdone
Cliente recurrente

Suecia
Excellent work developing a custom solution even though documentation available online is hard to interpret. Saved me a lot of time and was very transparent throughout the entire project process. Would recommend and be happy to work with again on future projects.
USD50-USD100
Precio
7 días
Tiempo
Útil?A antoinedubo
Cliente recurrente

Bélgica
I've worked with Michal and have been really happy with the experience. He's knowledgeable, professional, and communicates well throughout the project. Everything has gone smoothly, and I plan to keep working with him. Definitely recommend.
USD100-USD200
Precio
5 días
Tiempo
Útil?
