Explorar las categorías
Explora
Fiverr Pro
Español
$
USD
Configuraré un despliegue privado y sin servidor de llm en google cloud run
Ingeniero de Software Senior y Ingeniero en AI
Combino muchos años de experiencia en ingeniería de software (incluyendo para BMW y Airbus) con tecnologías modernas de AI para ayudar a las empresas a implementar soluciones de AI escalables y listas...
Acerca de este Servicio
¿Quieres tener control total sobre tus datos de AI sin pagar miles por servidores dedicados? Configuraré un LLM privado y de código abierto (por ejemplo, Gemma 4, Llama 3, Mistral) en tu propio entorno de Google Cloud (GCP).
¿Por qué esta configuración?
- Soberanía total de datos: Tus prompts nunca salen de tu nube. Sin dependencia de APIs de terceros. Perfecto para datos corporativos sensibles.
- Escalabilidad ilimitada: A diferencia del alojamiento rígido o servidores locales, esta arquitectura escala automáticamente. Clona instancias durante picos de tráfico y escala a cero en tiempos de inactividad (pago por uso).
- Alto rendimiento: El modelo se ejecuta en potentes GPUs NVIDIA L4.
Lo que recibirás:
- Manual detallado (en inglés): Guía paso a paso para la infraestructura de GCP, permisos IAM y solicitud de cuotas de GPU.
- Script de automatización 1: Un script Bash inteligente que descarga y prepara automáticamente tu modelo deseado.
- Script de automatización 2: Un script de despliegue para toda la pila en la nube (Cloud Run y Storage Bucket).
- Soporte: Orientación breve durante tu configuración inicial para asegurar que todo funcione perfectamente.
Proveedor de la nube:
Google Cloud Platform
Experiencia:
Implementación
Marcos:
Otros
FAQ
Traducción automática
¿Qué modelos se pueden alojar?
Cualquier modelo en formato GGUF que quepa en los 24 GB de VRAM de la GPU NVIDIA L4. Los modelos con 8B a 14B de parámetros son ideales.
¿Cuáles son los costos de funcionamiento en Google?
Durante tiempos de inactividad, solo pagas costos mínimos de almacenamiento (~$0.20/mes). Durante uso activo, pagas por la potencia de cómputo (~$2.25/hora, facturado por segundo).
¿Es compatible la API con mis aplicaciones?
¡Sí! El motor de inferencia ofrece un endpoint compatible con OpenAI /v1/chat/completions.
¿Cómo maneja múltiples usuarios?
El sistema es altamente elástico. Google escala automáticamente a múltiples instancias de GPU durante picos de carga y las apaga cuando el tráfico disminuye.
