Explorar las categorías
Explora
Fiverr Pro
Español
$
USD
Desplegaré IA local con vllm en cualquier nube o tu propio servidor
Ingeniero de software, lector e investigador
Entré en el mundo de la tecnología hace siete años. Primero construí pipelines de datos. Luego trabajé en fusión de sensores para vehículos autónomos (ego). Después, trabajé para empresas americanas e...
Acerca de este Servicio
Si usas LLMs a gran escala o trabajas en una industria regulada o te importa la privacidad, entonces debes tener el control de la IA. Implemento y optimizo LLMs/vision-llms/modelos de aprendizaje profundo completamente en TU infraestructura.
LO QUE OBTIENES
- vLLM, SGLang, Ollama, llama.cpp y MLX en servicio
- Punto final API compatible con OpenAI/Anthropic
- Cuantización ajustada a tu hardware
- P99 TTFT, ajuste de rendimiento y tamaño de lote según tus SLOs
- Caché KV y caché de prefijo
- Decodificación especulativa y prellenado en fragmentos para mayor velocidad
- NVIDIA CUDA, AMD ROCm, Apple Silicon o solo CPU
- AWS, GCP, Azure, RunPod, Lambda o tu propio servidor
- Probado bajo carga: latencia P50/P99, tokens por segundo, máxima concurrencia
TAMBIÉN DISPONIBLE
- IA en navegador con WebLLM (MLC)
- Voz en dispositivo iOS/Android y faster-whisper
La inferencia rápida es un equilibrio: TTFT, tokens por segundo y usuarios concurrentes compiten por la misma VRAM. Ajusto según tus SLO.
FAQ
Traducción automática
¿Qué motor de inferencia debería elegir?
Depende de tu carga: Ollama para equipos pequeños (~10 usuarios), vLLM para rendimiento en producción, SGLang para cargas de trabajo de múltiples turnos/agentes. Evalúo tu caso antes de que hagas el pedido.
¿Qué hardware soportas?
NVIDIA CUDA, AMD ROCm, Vulkan, Apple MLX y servidores solo con CPU. La generación del hardware importa. Ampere, Hopper y Blackwell son diferentes.
¿Puedes desplegar en móvil o en un navegador?
Sí. En navegador mediante WebLLM. En dispositivo iOS/Android solo para modelos compatibles.
¿Qué tan rápido será mi modelo?
La velocidad es un compromiso de tres vías: tiempo hasta el primer token, tokens por segundo y cuántos usuarios caben en la memoria. No puedes maximizar los tres. Dime tus restricciones y configuraré el motor para ajustarse a ellas encontrando el equilibrio adecuado.
