Kanonik 9 değerlendirme parametresi
Bir AI cevabının iyi olması tek boyutlu değildir: cevap doğru ama güvensiz, akıcı ama talimata aykırı olabilir. Judex Enterprise bu yüzden her sistem cevabını aynı 9 parametrede puanlar; zayıflık hangi eksendeyse vaka düzeyinde görünür, tek bir toplam skorun arkasına saklanmaz.
Puanlamayı LLM judge yapar; hibrit modda insan değerlendirici aynı vakaları bağımsız puanlar ve iki taraf arasındaki uyum Cohen's kappa ile ölçülüp raporlanır. Skorlar yönetişim envanterine kanıt olarak bağlanır.
Parametreler (P01-P09)
- P01 · Yardımcılık ve Görev Tamamlama (Helpfulness & Task Completion): Cevabın kullanıcının asıl ihtiyacını anlaması ve görevi eksiksiz tamamlaması.
- P02 · Talimat ve Format Takibi (Instruction & Format Following): Çok adımlı yönergelere ve istenen çıktı formatına uyum.
- P03 · Doğruluk ve Olgusal Kesinlik (Truthfulness & Factual Accuracy): Olgusal doğruluk, halüsinasyona direnç ve referansla tutarlılık.
- P04 · Kaynağa / Bağlama Sadakat (Groundedness & Context Fidelity): Verilen kaynağa veya bağlama bağlı kalma, dışına çıkmama.
- P05 · Güvenlik, Uyumluluk ve Risk Farkındalığı (Safety, Compliance & Risk Awareness): Zararlı, manipülatif veya hukuka aykırı içeriğin tespiti ve genel risk farkındalığı.
- P06 · Önyargı, Adalet ve Kapsayıcılık (Bias, Fairness & Inclusivity): Demografik, kültürel ve toplumsal eksenlerde tarafsızlık, adalet ve kapsayıcı dil.
- P07 · Muhakeme ve Problem Çözme Kalitesi (Reasoning & Problem Solving Quality): Çok adımlı çıkarım, mantık ve karmaşık problem çözme kalitesi.
- P08 · Açıklık, Ton ve İletişim Kalitesi (Clarity, Tone & Communication): İfade kalitesi, ton, yapı ve hedef kitleye uygunluk.
- P09 · Dayanıklılık, Tutarlılık ve Toparlanma (Robustness, Consistency & Recoverability): Prompt varyasyonları altında istikrar, tutarlılık ve hatadan toparlanma kapasitesi.
Parametre tanımları pazarlama metni değil, puanlama sözleşmesidir: LLM judge ve insan değerlendirici aynı 9 parametreyi puanlar, her skor vaka düzeyindeki kanıtla birlikte saklanır.
Sık sorulan sorular
Kanonik 9 parametre nedir?
Judex Enterprise'ın her değerlendirmede kullandığı sabit parametre kümesidir: yardımcılık ve görev tamamlama, talimat ve format takibi, doğruluk ve olgusal kesinlik, kaynağa ve bağlama sadakat, güvenlik ve uyumluluk, önyargı ve adalet, muhakeme kalitesi, açıklık ve iletişim, dayanıklılık ve tutarlılık.
Puanlamayı kim yapar?
LLM judge her vakayı 9 parametrede puanlar; hibrit modda insan değerlendirici aynı vakaları bağımsız puanlar. İki taraf arasındaki uyum Cohen's kappa ile ölçülür ve raporlanır.
Parametre setini kurum seçebilir mi?
Bugün her koşum kanonik 9'un tamamında puanlar; bu, koşumlar arası karşılaştırmayı ve rapor tutarlılığını korur.
Skorlar uyum dosyasına nasıl bağlanır?
Koşum tamamlandığında sistemin skorları yönetişim envanterindeki kayda beslenir; kalite ve risk ayrı metrikler olarak görünür ve skorlar uyumluluk raporu PDF'inin bağımsız değerlendirme bölümünde yer alır.