Cohen's kappa nedir?
Cohen's kappa (κ), iki değerlendiricinin aynı vakalar hakkındaki kararlarının ne kadar örtüştüğünü, şans eseri uyumu düzelterek ölçen istatistiktir. 1'e yakın değerler güçlü uyumu, 0 şans düzeyini, negatif değerler sistematik ayrışmayı gösterir.
Neden ham yüzde uyum yetmez?
İki değerlendirici vakalara hiç bakmadan hep aynı etiketi verse bile yüzde uyum yüksek çıkar. Kappa bu şans bileşenini düzeltir: gözlenen uyumdan beklenen şans uyumu çıkarılır ve kalan, mümkün olan en iyi iyileşmeye oranlanır. Dengesiz dağılımlı işlerde bu yüzden yüzde uyum yerine kappa raporlanır.
Nasıl yorumlanır?
Yaygın kullanılan Landis ve Koch eşikleri kabaca şöyledir: 0,20'ye kadar zayıf, 0,21-0,40 idare eder, 0,41-0,60 orta, 0,61-0,80 önemli, 0,81 üzeri neredeyse tam uyum. Eşikler bağlama görecelidir; kritik olan uyumun zaman içinde izlenmesi ve düşüşlerin araştırılmasıdır.
Judex Enterprise'da insan değerlendirici ile AI judge'ın aynı vakalara verdiği skorlar arasındaki uyum, parametre başına Cohen's kappa ile ölçülür ve raporlanır. Düşük uyum skora değil sürece dair bir uyarıdır: rubrik, judge veya değerlendirici eğitimi gözden geçirilir.
Sık sorulan sorular
Kappa kaç olmalı?
Tek doğru eşik yoktur; yorumlama işin riskine bağlıdır. Yaygın pratik 0,61 üzerini güçlü uyum saymaktır; asıl değerli olan tek bir sayı değil, uyumun parametre bazında ve zaman içinde izlenmesidir.
Kappa düşükse AI skorları geçersiz mi olur?
Hayır; düşük kappa önce nerede ayrışıldığını gösterir. Ayrışma belirli bir parametrede yoğunlaşıyorsa rubrik netleştirilir, sistematikse judge veya değerlendirme süreci gözden geçirilir. Kappa bir kalite kapısı değil, süreç göstergesidir.