Explorar las categorías
Explora
Fiverr Pro
Español
$
USD
Configuraré una gateway de litellm con observabilidad de llm
ali shah
Acerca de este Servicio
Traducción automática
Las apps de LLM sin una gateway y trazas se vuelven conjeturas: no tienes idea de qué clave gastó qué, qué modelo es lento o por qué los costos se duplicaron después del lanzamiento. Configuro LiteLLM + Langfuse para que puedas ver y controlar todo eso.
LO QUE CONFIGURÉ
- Proxy LiteLLM en Docker, VPS o tu nube, con un endpoint /v1 compatible con OpenAI
- Enrutamiento multi-proveedor: OpenAI, Anthropic, Gemini, Azure, Bedrock, OpenRouter, modelos locales
- Claves virtuales por app/equipo con presupuestos, límites RPM/TPM y acceso por modelo
- Cadenas de fallback y reintentos automáticos / failover en 429, 500 y timeouts
- Seguimiento de costos por clave, por modelo, por cliente, con alertas de gasto del 60/80/100%
- Trazas Langfuse (o LangSmith/Helicone), percentiles de latencia y registros de errores
- Un panel o informe semanal que tu equipo realmente pueda leer
- config.yaml, notas de despliegue y un manual de transferencia
Esto no es una construcción de chatbot. Es para equipos que ya están ejecutando o lanzando una app de LLM y quieren control en producción.
Envíame tus proveedores, estimación de tráfico y dónde se ejecuta hoy. Confirmaré el alcance en 24h.
Conoce a ali shah
ali shah
AI LLM Engineer RAG, Agents, LLM Ops Shopify Hydrogen
- DePakistán
- Miembro desdeago 2026
Idiomas
Urdu, Inglés
5 years shipping production software (Systems Limited, then Contour
Software) as a backend + AI engineer. I build the unglamorous parts that
make AI products work: RAG retrieval that actually returns the right
chunk, evals that catch hallucinations before customers do, LiteLLM
gateways and Langfuse traces so you know your per-user cost, and vLLM on
your own GPU. Also custom Shopify Hydrogen storefronts.
.
Traducción automática
Mi porfolio
Otros servicios de Desarrollo de IA que ofrezco
FAQ
Traducción automática
LiteLLM, OpenRouter o Portkey — ¿cuál necesito?
OpenRouter si quieres acceso gestionado a muchos modelos con mínima infraestructura y aceptar margen por token. LiteLLM autoalojado si necesitas tus propias claves, presupuestos, localización de datos o cero margen por solicitud. Te recomendaré lo que mejor encaje, incluyendo mantener lo que ya tienes.
¿Necesitará reescribir el código de mi app?
Casi nunca. LiteLLM expone un endpoint compatible con OpenAI, así que generalmente solo es un cambio de base-URL y clave. Solo refactorizo donde las reintentos o streaming necesitan atención, y te muestro las diferencias.
¿Esto rastrea el costo por cliente?
Sí, esa es la principal razón por la que los equipos lo compran. Gasto por clave virtual y por etiqueta, para que puedas ver qué cliente o función no es rentable. Modelaré tu estructura de precios a pedido como complemento.
¿Autoalojado o Langfuse Cloud?
Ambos funcionan. Cloud es más rápido y lo configuraré en el mismo día; autoalojado mantiene trazas y texto de prompt dentro de tu VPC, lo cual importa si manejas datos regulados. Dime tu restricción y escogeré.
¿Puedes migrar claves sin tiempo de inactividad?
Sí. Ejecuto la gateway en modo sombra junto a tus llamadas directas, verifico salidas y costos idénticos, y luego cambio. La reversión es una variable de entorno, así que un despliegue fallido no es un incidente.
