Optimizaré tu app de llm para menor latencia y costo

Optimizó aplicaciones de LLM que son demasiado lentas o demasiado caras.

Lo que he logrado en producción:

- Reduje la latencia p95 en un 70 por ciento y el costo de servicio en un 38 por ciento con caché de contexto, salida estructurada y enrutamiento de modelos

- Disminuí los tokens de salida en un 49 por ciento sin perder calidad

- Aceleré los endpoints de listas 125 veces y una consulta de Threads de 411 ms a 1.6 ms

- Reubiqué tres modelos LLM y de embedding a un DGX en las instalaciones sin tiempo de inactividad

Cómo funciona:

1. Compartes tus prompts, trazas, configuración del modelo y tus números de latencia o costo

2. Hago un perfil del pipeline y envío un informe priorizado

3. Implemento las correcciones y muestro benchmarks antes y después

Pila: OpenAI, Anthropic, vLLM, LangChain, RAG, pgvector, Python, TypeScript, Rust, Go, AWS.

Cuéntame tu p95 actual y gasto mensual y te diré qué es realista.