Saltar al contenido

Evaluar y mantener

Lista de comprobación

El entregable de la fase de evaluación y mantenimiento (evaluaciones, scorecard repetida, proceso de contribución y changelog), los pasos y cómo ampliar el sistema después.

Última revisión:

Esta lista resume la evaluación y el mantenimiento: el entregable, los pasos para producirlo y los criterios para darlo por terminado. Repítela con cada versión del sistema.

En esta página

El entregable

  • evals/evals.md, con las tareas, los resultados y una acción por fallo.
  • La scorecard repetida, para compararla con la de la auditoría.
  • CONTRIBUTING.md, con el proceso y la Definition of Done.
  • CHANGELOG.md, con la versión actual.

Pasos

  1. Escribe 10 tareas con el reparto de Diseñar evaluaciones, dos de ellas trampa.
  2. Haz tres intentos por tarea, cada uno en una sesión nueva del agente.
  3. Pasa el script de búsquedas por cada intento y puntúalo con la rúbrica.
  4. Lee las transcripciones de las tareas fallidas: si el agente abrió el patrón y el documento del componente.
  5. Escribe una acción por fallo: qué documento, regla o instrucción cambiar.
  6. Repite la scorecard y compárala con la de la auditoría.
  7. Escribe CONTRIBUTING.md con la Definition of Done y CHANGELOG.md con el formato propuesto.

Criterios para darlo por terminado

  • evals/evals.md tiene las tareas, los resultados de los tres intentos y una acción por fallo.
  • Las tareas trampa se puntúan por si el agente avisó, no por lo que construyó.
  • La scorecard nueva tiene fecha y se compara con la anterior.
  • CONTRIBUTING.md y CHANGELOG.md existen.

Ampliar el sistema

Recomendación

Aplica las acciones de los fallos, vuelve a evaluar y, cuando las tareas del piloto pasen, conviértelas en evaluaciones de regresión. Después, amplía el sistema por orden de uso: los siguientes componentes más insertados y los siguientes patrones más repetidos, cada uno con su Definition of Done y recorriendo de nuevo las listas de comprobación de cada capítulo.

En resumen

  • El entregable son las evaluaciones con sus acciones, la scorecard repetida, el proceso de contribución y el changelog.
  • Las tareas trampa miden si el agente respeta las reglas.
  • Para ampliar el sistema, se repiten las listas de comprobación por orden de uso.

Fuentes

Esta lista resume las páginas del capítulo. Las fuentes están en cada una de ellas.