eval-harness

Topics in the source

• Skill Eval Harness
• Cuándo Activar
• Filosofía
• Tipos de Eval
• Evals de Capacidad
• Evals de Regresión
• Tipos de Evaluador
• 1. Evaluador Basado en Código

Un framework formal de evaluación para sesiones de Claude Code, implementando principios de desarrollo orientado a evals (EDD). Configurar desarrollo orientado a evals (EDD) para flujos de trabajo asistidos por IA Definir criterios de pass/fail para la completitud de tareas en Claude Code Medir confiabilidad del agente con métricas pass@k Crear suites de pruebas de regresión para cambios de prompts o agentes Comparar rendimiento del agente entre versiones de modelos El Desarrollo Orientado a Evals trata los evals como las "pruebas unitarias del desarrollo de IA": Definir el comportamiento esperado ANTES de la implementación Ejecutar evals continuamente durante el desarrollo Rastrear regresiones con cada cambio Usar métricas pass@k para medición de confiabilidad Probar si Claude puede hacer algo que antes no podía: Asegurar que los cambios no rompan la funcionalidad existente: Verificaciones deterministas usando código: Usar Claude para evaluar salidas de forma abierta: Marcar para revisión manual: "Al menos un éxito en k intentos" pass@1: Tasa de éxito en el primer intento pass@3: Éxito dentro de 3 intentos Objetivo típico: pass@3 > 90% "Todos los k ensayos tienen éxito" Barra más

This is an excerpt. Refer to the complete source and its current requirements.