Construiré una canalización de datos gpt con kafka, spark y docker

Parte de la información se ha traducido automáticamente.
Michal M
5.0
5.0

República Checa

Hablo Inglés, Checo

14 pedidos completados

¡Transmitamos tus datos con IA!

Diseño e implemento pipelines de streaming de datos y arquitecturas lakehouse usando Kafka, Spark, Hadoop, Iceberg, Trino y MinIO, con enriquecimiento opcional impulsado por GPT. Puedo ayudarte a con...
Leer más
Acerca de este Servicio

Construiré una pipeline completa en tiempo real usando Apache Kafka, Spark Streaming y OpenAI GPT (ChatGPT). El sistema resume datos en streaming en tiempo real y funciona dentro de Docker para facilitar su despliegue en cualquier lugar.


Obtendrás (según el paquete que elijas):


  • Resumen GPT con FastAPI y prueba con curl
  • Integración Kafka Spark GPT
  • Almacenamiento opcional en HDFS o productor Spring Boot
  • Configuración con Docker Compose
  • Logs de ejemplo y datos de prueba


Puedes usar esto para:


  • Compresión de logs
  • Procesamiento de alertas en streaming
  • Tableros en tiempo real
  • Logs de soporte mejorados con GPT
  • Monitoreo de transacciones
  • Detección de anomalías con retroalimentación de GPT
  • Monitoreo con dashboards de Prometheus + Grafana
  • Cualquier otra cosa que se te ocurra


Todo es modular, probado y listo para producción. Proporcionarás tu propia clave de OpenAI de forma segura mediante .env.


Ten en cuenta:


  • Los entregables dependen del paquete que elijas
  • Ofertas personalizadas disponibles, ¡solo envíame un mensaje!
  • Incluye 2 mensajes de seguimiento para aclaraciones después de la entrega
  • Eres responsable de probar y ejecutar en tu propio entorno
  • El uso de OpenAI requiere tu propia clave API
Leer más
build a gpt data pipeline with kafka, spark, and docker
Pantalla completa
build a gpt data pipeline with kafka, spark, and docker

Experiencia:

Integración API

•

Big data

•

Flujo de Datos

•

etl

+1 más

Tecnología:

Apache Hadoop

•

Apache Kafka

•

apache spark

•

Java

•

SQL

Mi porfolio

Otros servicios de Ingeniería de datos que ofrezco

Reseñas

3 comentarios sobre este Servicio
5.0

(3)
(0)
(0)
(0)
(0)
Desglose de calificaciones
  • Nivel de comunicación del Freelancer
    5
  • Calidad de la entrega
    5
  • Valor de la entrega
    5
Ordenar por
Más relevante
  • T

    thethirdone

    Cliente recurrente

    SE

    Suecia

    5

    Took charge of the task and generated valuable insights about infrastructure. Shows that he has a good understanding of the subject and enables coming up with proactive and pragmatic ideas when the original specification was blurry. Also, good at reading through messy documentation.

    USD50-USD100

    Precio

    4 días

    Tiempo

    Útil?
    Sí
    No
  • T

    thethirdone

    Cliente recurrente

    SE

    Suecia

    5

    Excellent work developing a custom solution even though documentation available online is hard to interpret. Saved me a lot of time and was very transparent throughout the entire project process. Would recommend and be happy to work with again on future projects.

    USD50-USD100

    Precio

    7 días

    Tiempo

    Útil?
    Sí
    No
  • A

    antoinedubo

    Cliente recurrente

    BE

    Bélgica

    5

    I've worked with Michal and have been really happy with the experience. He's knowledgeable, professional, and communicates well throughout the project. Everything has gone smoothly, and I plan to keep working with him. Definitely recommend.

    USD100-USD200

    Precio

    5 días

    Tiempo

    Útil?
    Sí
    No
Reseñas

3 comentarios sobre este Servicio
5.0

(3)
(0)
(0)
(0)
(0)
Desglose de calificaciones
  • Nivel de comunicación del Freelancer
    5
  • Calidad de la entrega
    5
  • Valor de la entrega
    5
Ordenar por
Más relevante
  • T

    thethirdone

    Cliente recurrente

    SE

    Suecia

    5

    Took charge of the task and generated valuable insights about infrastructure. Shows that he has a good understanding of the subject and enables coming up with proactive and pragmatic ideas when the original specification was blurry. Also, good at reading through messy documentation.

    USD50-USD100

    Precio

    4 días

    Tiempo

    Útil?
    Sí
    No
  • T

    thethirdone

    Cliente recurrente

    SE

    Suecia

    5

    Excellent work developing a custom solution even though documentation available online is hard to interpret. Saved me a lot of time and was very transparent throughout the entire project process. Would recommend and be happy to work with again on future projects.

    USD50-USD100

    Precio

    7 días

    Tiempo

    Útil?
    Sí
    No
  • A

    antoinedubo

    Cliente recurrente

    BE

    Bélgica

    5

    I've worked with Michal and have been really happy with the experience. He's knowledgeable, professional, and communicates well throughout the project. Everything has gone smoothly, and I plan to keep working with him. Definitely recommend.

    USD100-USD200

    Precio

    5 días

    Tiempo

    Útil?
    Sí
    No

Etiquetas relacionadas