Crearé sistemas locales end to end y chatbots

Un chatbot RAG polaco, construido de extremo a extremo desde la recopilación de artículos hasta una respuesta final con tres enlaces a las fuentes utilizadas.

La base de conocimientos es pequeña a propósito: 141 artículos de ayuda. Con ese tamaño, puedo medir cada cambio en un conjunto de prueba en lugar de adivinar.

La búsqueda es híbrida. La coincidencia de palabras clave maneja preguntas donde una palabra exacta decide la respuesta, la búsqueda por vectores maneja el significado, las dos clasificaciones se fusionan y un cross encoder selecciona las tres mejores de veinte candidatos. La precisión es de 58 de 60 en el conjunto de prueba.

Las preguntas reales llegan con errores tipográficos, por lo que un corrector ortográfico se sitúa delante del pipeline, protegido por una verificación de frecuencia de palabras para que no estropee entradas correctas.

El sistema también sabe cuándo negarse. Preguntas fuera de tema se cortan de forma económica antes de la generación, un segundo modelo decide los casos límite y una verificación de cobertura después detecta respuestas que no están fundamentadas en el texto recuperado.

La recuperación funciona localmente: las embeddings, los índices y el reranker están en el servidor. La demo pública llama a un modelo alojado para la generación porque el VPS no tiene GPU, pero es el mismo código con un archivo de configuración diferente y funciona completamente offline en Ollama.