Configuraré la inferencia para tus modelos de código abierto


Acerca de este Servicio
Traducción automática
Construiré la inferencia para tus modelos de código abierto usando motores como TensorRT-LLM, vLLM y sGLang. Para flujos de trabajo de baja latencia, te ayudaré a lograrla mediante técnicas como cuantización, compilación de modelos, batching y streaming. También implementaré medidas de seguridad para tus endpoints de inferencia con claves API y soporte RAG para adjuntar documentos a tus prompts. Este servicio es inclusivo para entornos on premise y en la nube, tanto en CPU como en GPU.
Conoce a Erick
Selfhosted solutions
- DeKenia
- Miembro desdesep 2022
- Responde aprox. en:19 horas
- Última entrega3 meses
Idiomas
Inglés, Suajili
Traducción automática
1 comentarios sobre este Servicio
| (1) | ||
| (0) | ||
| (0) | ||
| (0) | ||
| (0) |
Desglose de calificaciones
- Nivel de comunicación del Freelancer
- Calidad de la entrega
- Valor de la entrega
Ordenar por
B benrudidi82

Camerún
Colaboración continuafor me it is difficult to find people like that I feel very confident working with him, he is very professional, he understands very quickly, he complies with all my requirements, he does things in a professional manner, despite the fact that I do not speak English, he adapts to the French, to the point...
USD 50-USD 100
$
4 días
Tiempo
Útil?
1 comentarios sobre este Servicio
| (1) | ||
| (0) | ||
| (0) | ||
| (0) | ||
| (0) |
Desglose de calificaciones
- Nivel de comunicación del Freelancer
- Calidad de la entrega
- Valor de la entrega
Ordenar por
B benrudidi82

Camerún
Colaboración continuafor me it is difficult to find people like that I feel very confident working with him, he is very professional, he understands very quickly, he complies with all my requirements, he does things in a professional manner, despite the fact that I do not speak English, he adapts to the French, to the point...
USD 50-USD 100
$
4 días
Tiempo
Útil?
