evaluIANueva
Evalúa una aplicación RAG (fidelidad, relevancia, contexto) y somete a un asistente a pruebas de robustez y guardarraíles.
evaluIA evalúa las aplicaciones de IA generativa que ya has construido. En una aplicación RAG mide, pregunta a pregunta, la fidelidad de cada respuesta a los documentos recuperados (y señala las afirmaciones sin respaldo, posibles alucinaciones), su relevancia y la calidad del contexto, con un modelo juez y con métricas deterministas. Además somete a un asistente a una batería de pruebas de robustez: inyección de instrucciones, intentos de extraer el prompt de sistema o un secreto, datos personales, respuestas fuera de política en banca y seguros, y alucinaciones provocadas, con recomendaciones de guardarraíles. Funciona en tu navegador con la clave de tu propio proveedor (OpenAI, Anthropic, Gemini, Azure OpenAI o compatibles): los textos van solo a ese proveedor.
✦ Evaluación de RAG
Fidelidad, relevancia y contexto, con las peores respuestas destacadas.
✦ Pruebas de robustez
Unas cuarenta pruebas por categorías y las tuyas propias.
✦ Tu modelo, tu clave
Con el proveedor que uses; los textos no pasan por ningún servidor intermedio.