Explorar las categorías
Explora
Fiverr Pro
Español
$
USD
Desplegaré tu llm en kubernetes con vllm, docker y soporte para GPU
Ingeniero de voz con IA y automatización, DevOps
Hola 👋 soy Khuzaima Ahmed. Me apasiona ayudar a pequeñas empresas a desbloquear el poder de las Automatizaciones de IA para ahorrar tiempo, reducir costos y mantenerse competitivas.
Ayudo a las empr...
Nivel 1
Ha cumplido determinados criterios de rendimiento y muestra un gran potencial en la plataforma.
Con alta capacidad de respuesta
Conocido por sus respuestas excepcionalmente rápidas
Acerca de este Servicio
¿Tienes un modelo de LLM de código abierto funcionando localmente pero necesitas que sea una API lista para producción?
Te ayudaré a desplegar tu Hugging Face o modelo de código abierto LLM en Kubernetes usando una pila de despliegue de IA lista para producción: vLLM, Docker, CUDA, despliegue en Kubernetes, nodos GPU, servicio, Ingress y endpoints API compatibles con OpenAI.
Lo que puedo ayudarte a hacer:
- Revisar tu modelo, caso de uso y requisitos de hardware
- Elegir un modelo compatible de Hugging Face o personalizado
- Configurar el motor de inferencia adecuado: vLLM, TensorRT-LLM o SGLang
- Empaquetar el modelo, las librerías y el runtime en un contenedor desplegable
- Preparar los manifiestos de Kubernetes para tu servicio de IA
- Configurar despliegue con soporte para GPU en clusters compatibles
- Configurar Service o Ingress para acceso a la API
- Crear un endpoint compatible con OpenAI cuando sea posible
- Probar el flujo completo de solicitud y respuesta
- Proporcionar documentación clara para la transferencia
Las familias de modelos soportadas pueden incluir Qwen, Llama, Mistral, Gemma, DeepSeek y otros modelos compatibles de Hugging Face.
Por favor, envíame un mensaje antes de ordenar para revisar tu modelo, proveedor de nube, configuración de Kubernetes, disponibilidad de GPU y requisitos de despliegue.
Herramientas:
Kubernetes
•
Docker
Marcos:
Terraform
•
Pulumi
•
Ansible
•
Crossplane
•
Otros
Lenguaje de programación:
Bash
•
Go
•
JavaScript
•
Python
•
Otros
Experiencia:
Instalación
•
Depuración de código
•
Configuración
Mi porfolio
FAQ
Traducción automática
¿Por qué debo enviarle un mensaje antes de ordenar?
El despliegue de LLM depende mucho del tamaño del modelo, memoria GPU, configuración de Kubernetes y requisitos de API. Primero, enviar un mensaje ayuda a confirmar compatibilidad, evitar retrasos y elegir el paquete adecuado.
¿Puedes ayudar a elegir el modelo adecuado para mi hardware?
Sí. Revisaré tu GPU, VRAM, caso de uso y objetivos de rendimiento para sugerir un tamaño de modelo y enfoque de despliegue adecuados antes de comenzar el proyecto.
¿Qué acceso necesitas para completar el despliegue?
Podría necesitar acceso a tu cluster de Kubernetes, consola en la nube, registro de contenedores, repositorio de modelos, detalles del dominio o ingress y entorno de despliegue. El acceso exacto depende de tu configuración.
¿Puedes desplegar un modelo ajustado o personalizado?
Sí, si el modelo es compatible con el motor de inferencia seleccionado y tu hardware disponible. Comparte los detalles del modelo antes de ordenar para que pueda confirmar la viabilidad.
¿Están incluidos los costos de nube, GPU o servidor?
No. Los costos de nube, GPU, dominio, almacenamiento e infraestructura no están incluidos en el precio del gig. Tú eres responsable de proporcionar los recursos necesarios del servidor, cluster y nube.
¿Ya debo tener un cluster de Kubernetes?
Sí, debes tener acceso a un cluster de Kubernetes o entorno en la nube. Si aún no tienes uno, envíame un mensaje primero y puedo guiarte sobre qué configuración necesitas antes del despliegue.
¿Proporcionas configuración y ajuste de GPU?
Puedo configurar despliegues en Kubernetes con soporte para GPU en clusters compatibles. Esto puede incluir selección de nodos GPU, configuración de recursos, configuración de runtime compatible con CUDA y validación básica.
¿Qué modelos de LLM puedes desplegar?
Puedo ayudar a desplegar modelos compatibles de Hugging Face o de código abierto como Qwen, Llama, Mistral, Gemma, DeepSeek y modelos similares. La compatibilidad final depende de tu GPU, VRAM, tamaño del modelo y configuración de despliegue.
¿Soportas vLLM, TensorRT-LLM y SGLang?
Sí. vLLM es la opción predeterminada para la mayoría de los despliegues. Dependiendo de tu modelo, GPU y necesidades de rendimiento, también puedo trabajar con TensorRT-LLM o SGLang para configuraciones de inferencia más avanzadas.
¿Proporcionarás un endpoint API compatible con OpenAI?
Sí, donde sea compatible con el motor de inferencia y la configuración del modelo, puedo exponer un endpoint API compatible con OpenAI para que tu app pueda llamar al LLM privado de manera similar a las APIs de chat estándar.
