eval-harness

原文涵盖的主题

• Eval Harness Skill
• Ne Zaman Aktifleştirmeli
• Felsefe
• Eval Tipleri
• Capability Eval'ları
• Regression Eval'ları
• Grader Tipleri
• 1. Code-Based Grader

Claude Code oturumları için eval-driven development (EDD) ilkelerini uygulayan formal değerlendirme çerçevesi. AI destekli iş akışları için eval-driven development (EDD) kurarken Claude Code görev tamamlama için geçti/kaldı kriterleri tanımlarken pass@k metrikleriyle agent güvenilirliğini ölçerken Prompt veya agent değişiklikleri için regresyon test paketleri oluştururken Model versiyonları arasında agent performansını benchmark ederken Eval-Driven Development, eval'ları "AI geliştirmenin birim testleri" olarak ele alır: İmplementasyondan ÖNCE beklenen davranışı tanımla Geliştirme sırasında eval'ları sürekli çalıştır Her değişiklikle regresyonları izle Güvenilirlik ölçümü için pass@k metriklerini kullan Claude'un daha önce yapamadığı bir şeyi yapıp yapamadığını test et: Değişikliklerin mevcut fonksiyonaliteyi bozmadığından emin ol: Kod kullanarak deterministik kontroller: Açık uçlu çıktıları değerlendirmek için Claude kullan: Manuel inceleme için işaretle: "k denemede en az bir başarı" pass@1: İlk deneme başarı oranı pass@3: 3 denemede başarı Tipik hedef: pass@3 > %90 "Tüm k denemeler başarılı" Güvenilirlik için daha yüksek çıta pass^3: Ardışık 3 başarı Kritik yollar için kullan Ta

这里只展示节选，请以完整原文和当前要求为准。