Configuraré un llm privado autoalojado en tu servidor con ollama, vllm, open webui


Level 1
Revisado por el equipo de Fiverr Pro
El equipo de Fiverr Pro seleccionó a Junaid Aslam por su experiencia.
Acerca de este Servicio
Traducción automática
Por favor, envíame un mensaje para comentar los requisitos antes de hacer el pedido.
¿Quieres un asistente de IA que mantenga tus datos en tu propio servidor? Configuro un llm privado en tu VPS o servidor con GPU. Ningún prompt o documento sale a terceros.
Qué monto
- Servir un modelo abierto con Ollama o vLLM: Llama 3, Mistral, DeepSeek, Qwen, Gemma, o cualquier modelo de Hugging Face
- Open WebUI como pantalla de chat, con cuentas de usuario y roles
- Una API compatible con OpenAI, para que tus apps la llamen como llaman a OpenAI
- RAG opcional en tus PDFs y documentos, con pgvector o Qdrant
- Configuración de Docker Compose, Nginx, HTTPS y una guía de entrega por escrito
Dónde funciona
Cualquier servidor Linux: tu VPS, equipo en local, AWS, Azure, Google Cloud o un GPU alquilado en RunPod. GPUs: NVIDIA H100, A100, L40S, RTX 4090. Te digo el costo mensual primero.
Ubicación de los datos
Puedo alojar en la UE, Reino Unido, EE. UU. o cualquier país o región que elijas. Esto admite reglas de residencia de datos como GDPR, UK GDPR y CCPA.
Qué no hago
No hago ajuste fino ni cuantización de modelos. Despliego y conecto modelos abiertos existentes.
Antes de hacer el pedido
Hablemos del tipo de documento, número de usuarios y presupuesto. Luego te recomendaré un modelo y el tamaño del servidor.
Conoce a Junaid Aslam
ASP Dot NET Core, Web API, React, JS, TS, SQL, NoSQL, AWS, Azure, AI Chatbot RAG
Level 1
Junaid Aslam es parte del catálogo de Fiverr Pro y un equipo especializado de Fiverr Pro lo ha seleccionado con cuidado por sus habilidades y experiencia.
Revisado para
Desarrollo de software
- DePakistán
- Miembro desdesep 2015
- Responde aprox. en:1 hora
- Última entrega1 mes
Idiomas
Urdu, Inglés
Traducción automática
Mi porfolio
Otros servicios de Desarrollo de IA que ofrezco
FAQ
Traducción automática
¿Necesito mi propio servidor o GPU?
No. Puedo configurarlo en un VPS, en tu cuenta de nube o en un GPU alquilado en RunPod. Te digo el tamaño y el costo mensual antes de empezar. Tú pagas al proveedor directamente.
¿Qué servidores y GPUs puedes usar?
Cualquier servidor Linux con acceso SSH: AWS, Azure, Google Cloud, RunPod o tu propio hardware. Las GPUs incluyen NVIDIA H100, A100, L40S y RTX 4090.
¿Qué llms abiertos puedes ejecutar?
Llama 3, Mistral, DeepSeek, Qwen y Gemma, en los tamaños que soporte tu hardware. Te ayudo a elegir el mejor modelo para tu uso.
¿Mis datos son privados?
Sí. El modelo se ejecuta en tu servidor. Ningún prompt o documento sale a un servicio de IA externo a menos que me pidas conectar uno.
Ollama o vLLM, ¿cuál necesito?
Ollama es simple y bueno para equipos pequeños. vLLM es más rápido para muchos usuarios en una GPU. Recomiendo uno después de que me digas cuántos usuarios tienes.
¿Puede mi app llamarlo como la API de OpenAI?
Sí. Tanto Ollama como vLLM ofrecen una API compatible con OpenAI. Tus apps solo deben cambiar la URL base y el nombre del modelo.
¿Puede responder con mis propios documentos (RAG)?
Sí, en el paquete Premium. Agrego RAG en tus PDFs y archivos con pgvector o Qdrant.
¿Puedes alojar en la UE, Reino Unido o EE. UU. para GDPR?
Puedo alojar en la región que elijas. Esto admite normas de residencia de datos como GDPR, UK GDPR y CCPA. No doy asesoría legal ni certificar cumplimiento.
¿Haces ajuste fino o cuantización de modelos?
No. Despliego y conecto modelos abiertos existentes. No los entreno ni hago ajuste fino.
