Evaluando los taninos
El término "cata" no es un concepto establecido formalmente en el campo de la IA. En la cata de vinos se evalúan las características de una pequeña muestra para inferir la calidad del producto completo. Aquí usamos el término para referirnos a la evaluación de una parte del funcionamiento de una IA conversacional para obtener una idea general de su rendimiento y precisión para una temática concreta. Aunque esto no es garantía de la calidad de las respuestas, sí nos permite, al menos, saber que el modelo de lenguaje puede contestar preguntas sobre el asunto en cuestión sin necesidad de inventar las respuestas. Las catas a una IA conversacional implican seleccionar y utilizar preguntas clave, cuyas respuestas son conocidas y se han obtenido de fuentes fiables, y sirven como un estándar para medir la precisión y competencia de la IA en áreas concretas. No lo llamamos "examen" porque el proceso de cata es menos exhaustivo y más focalizado, lo cual es particularmente val...