Evaluar modelos e IA generativa

En un modelo clásico hay una respuesta correcta: el correo es spam o no lo es. En IA generativa hay muchas respuestas válidas para la misma pregunta, y una respuesta puede estar bien escrita y ser falsa. Evaluar pasa a ser una mezcla de métricas automáticas, jueces y personas. Y no termina al lanzar: el mismo sistema puede empeorar cuando cambian los datos, el prompt o la versión del modelo.

Métricas clásicas y métricas para texto

Para clasificación siguen valiendo exactitud, precisión, recall, F1 y el área bajo la curva ROC; para regresión, el error absoluto medio y la raíz del error cuadrático medio. Están explicadas en fundamentos de machine learning. Para texto generado se usan otras:

Todas necesitan una respuesta de referencia y ninguna detecta si un dato es falso pero bien redactado. Sirven para comparar versiones y detectar regresiones, no para certificar que una respuesta es verdadera.

Jueces, personas y conjuntos de referencia

La base de todo es un conjunto dorado (golden dataset): preguntas reales de tu caso con la respuesta esperada, revisadas por expertos. Los benchmarks públicos sirven para comparar modelos en general; tu conjunto dorado dice si funciona para tu negocio. Inclúyele casos difíciles, preguntas sin respuesta y preguntas que el sistema debe rechazar. Los criterios de sesgo, toxicidad y seguridad se definen junto con IA responsable.

Para la parte humana, AWS tiene dos servicios. SageMaker Ground Truth organiza equipos que etiquetan datos o califican respuestas, incluidas preferencias entre dos respuestas. Amazon Augmented AI (A2I) manda a revisión humana las predicciones de baja confianza en producción, por ejemplo un formulario que Textract leyó con dudas.

Amazon Bedrock Evaluations

Bedrock Evaluations corre trabajos de evaluación sin que montes la infraestructura:

1. 1

   Evaluación programática

   Con conjuntos integrados o tu propio conjunto de prompts. Mide exactitud, robustez y toxicidad por tipo de tarea, con algoritmos como BERTScore para resúmenes y F1 para preguntas y respuestas.
2. 2

   Evaluación con un modelo juez

   Un segundo modelo puntúa cada respuesta y explica por qué, con métricas integradas de calidad y de IA responsable o con métricas personalizadas que tú defines.
3. 3

   Evaluación humana

   Tu propio equipo o expertos de la industria califican las respuestas en una interfaz que Bedrock arma.
4. 4

   Evaluación de RAG

   Solo recuperación: relevancia del contexto y cobertura del contexto. Recuperación y generación: además corrección, fidelidad, precisión y cobertura de las citas. Sirve para Knowledge Bases o para un RAG externo si traes tus propias respuestas.

Evaluar RAG y agentes

En un sistema RAG evalúa tres cosas por separado, porque cada una se arregla distinto:

• Relevancia de lo recuperado: ¿los fragmentos sirven para la pregunta? Si falla, ajusta fragmentación, filtros o reranking.
• Fidelidad (faithfulness o anclaje): ¿la respuesta se apoya solo en el contexto? Si falla, el modelo inventa.
• Relevancia de la respuesta: ¿responde lo que se preguntó, completo? Si falla, revisa el prompt o el modelo.

En agentes no basta con la respuesta final. Mide si completó la tarea, si eligió la herramienta correcta, si pasó bien los parámetros, cuántos pasos usó y si su razonamiento intermedio tiene sentido. Las trazas de cada paso son la materia prima: sin ellas solo ves que algo salió mal, no dónde.

Probar en producción y medir el negocio

Las métricas técnicas no bastan. Mide también lo que le importa al negocio: tasa de tareas resueltas sin escalar a una persona, satisfacción del usuario, tiempo ahorrado, costo por interacción y retorno de la inversión. Cómo convertir eso en una decisión está en estrategia de IA.

Vigilar en producción

• Registro de invocaciones del modelo (model invocation logging): guarda prompts y respuestas de Bedrock en CloudWatch Logs o S3. Viene apagado; actívalo y protege esos registros, porque contienen datos de usuarios.
• Métricas de Bedrock en CloudWatch: invocaciones, latencia, tokens de entrada y salida, y limitaciones por cuota. La vista de observabilidad de IA generativa de CloudWatch junta métricas y trazas de modelos y agentes.
• Deriva (drift): las preguntas de los usuarios cambian y el sistema responde peor. Muestrea respuestas cada día, pásalas por el juez y vigila la tendencia. Para modelos propios, SageMaker Model Monitor detecta deriva de datos (ver SageMaker AI y MLOps).
• Tasa de alucinación: porcentaje de respuestas con afirmaciones que no respalda el contexto. La verificación de anclaje contextual de Bedrock Guardrails puede bloquearlas en línea.
• Pruebas de regresión y puertas de calidad: en tu pipeline de CI, cada cambio de prompt, modelo o índice corre el conjunto dorado. Si la puntuación baja del umbral, el despliegue se detiene.