Önceki derste nitel ölçümün üç sorusunu konuştuk. Şimdi en pratik boyutuna — denetçiler arası uyuma — bakacağız. İş hayatında en sık duyacağın cümlelerden biri: 'Bizim kontrolcüler yüzde doksan oranında aynı kararı veriyor, sistem gayet iyi.' Kulağa harika geliyor. Ama bu derste, bu cümlenin neden tehlikeli olabileceğini ve bir uyum sayısını gerçekten nasıl okuyacağını göreceksin.
Hikâye Storyboard
Anlaşmak ile Şans Eseri Anlaşmak: Üç Kare
1
Yüksek uyum, şans eseri olabilir
Diyelim ürünlerin %90'ı zaten sağlam, %10'u kusurlu. İki tembel denetçi düşün: ikisi de bakmadan her şeye 'sağlam' diyor. Bu ikisi ne kadar uyumlu görünür? %90! Çünkü ürünlerin %90'ı zaten sağlam ve ikisi de hep 'sağlam' dediği için o %90'da otomatik anlaşıyorlar. Ama bu uyum sahtedir — ikisi de hiçbir kusuru yakalamıyor, sadece çoğunluğa rastgele uyuyorlar.
2
Şansı çıkar, gerçeğe bak
Gerçek anlaşmayı sahte anlaşmadan ayırmak için şansı çıkarman gerekir. İstatistikçiler bunun için bir ölçü (Kappa) geliştirmiş: ham uyumdan, sırf tesadüfen beklenen uyumu çıkarır. İki denetçi sadece tesadüfen anlaşıyorsa bu ölçü sıfıra yakın çıkar — ham oran %90 bile olsa. Bir uyum sayısı duyduğunda sor: 'Bu, şans çıkarılmış bir uyum mu, yoksa ham, aldatıcı bir oran mı?'
3
Uyumsuzluğun deseni kök nedeni gösterir
Sadece 'uyumsuzlar' demek yetmez; nasıl uyumsuz olduklarına bak. Bir denetçi sürekli daha 'sıkı' karar veriyorsa (başkalarının 'sağlam' dediğine 'kusurlu' diyor) eşiği farklıdır — çözüm kalibrasyon ve ortak standart. Ama uyumsuzluk rastgeleyse (bazen sıkı bazen gevşek, desen yok) karar çok zor ya da tanım belirsizdir — çözüm daha net kriterler. Sistematik sapma ile rastgele kaos, farklı hastalıklardır.
Sahneden
3 Denetçi, 20 Ürün, Kaos
Ürün
Ali
Ayşe
Can
Uyum?
1
GEÇ
GEÇ
GEÇ
✅
2
GEÇ
GEÇMEZ
GEÇ
❌
3
GEÇMEZ
GEÇMEZ
GEÇ
❌
4
GEÇ
GEÇ
GEÇMEZ
❌
5
GEÇMEZ
GEÇMEZ
GEÇMEZ
✅
⚠️ 20 üründen yalnızca 9'unda tam uyum (%45). Bu ölçüm verisiyle süreç kararı alınamaz!
Dersin Kalbi
Ham Uyum vs Gerçek Uyum
Ham Uyum (Aldatıcı)
Denetçilerin ne sıklıkta aynı kararı verdiği — basit bir oran. Ama düşük kusur oranı yüzünden şişebilir: herkes çoğunluğa 'sağlam' diyerek şans eseri anlaşır. Yüksek görünür ama içi boş bir kabuktur.
Gerçek Uyum (Şans Çıkarılmış)
Kappa, ham uyumdan tesadüfen beklenen uyumu çıkarır; geriye 'gerçekten, kasıtlı, doğru' anlaşma kalır. Genelde ham orandan çok daha küçüktür ama dolu ve katıdır. Asıl güvenmen gereken budur.
İki Yöntem
Cohen's Kappa vs Fleiss Kappa
Cohen's Kappa
2 denetçi için
İkili karşılaştırma
2×2 uyum matrisi kullanır
En yaygın kullanılan
κ = (Po − Pe) / (1 − Pe)
Fleiss Kappa
3+ denetçi için
Birden fazla denetçi
Genişletilmiş uyum matrisi
Standart endüstri tercihi
κ_F = (P̄ − P̄_e) / (1 − P̄_e)
İnteraktif
Kappa Hesaplayıcı
İki denetçi uyum matrisini gir (20 ürün örneği) — Kappa katsayısını hesapla.
D2: GEÇ
D2: GEÇMEZ
D1: GEÇ
D1: GEÇMEZ
Üç Eşleşme
Uyumu Üç Ayrı Eşleşmede İncele
1
Kişi kendiyle
Her denetçi aynı parçaya iki kez baktığında tutarlı mı? — kişisel güvenilirlik (tekrarlanabilirlik).
2
Kişiler birbiriyle
Ekip kendi içinde tutarlı mı? — denetçiler arası uyum (yeniden üretilebilirlik).
3
Herkes doğru cevapla
En önemlisi: uzmanın belirlediği gerçekle ne kadar örtüşüyor? Bir denetçi kendiyle çok tutarlı, ekibiyle çok uyumlu ama doğru cevaptan sistematik sapıyor olabilir.
Çözüm
Denetçiler Arası Uyumu Nasıl Artırırsın?
1
Kalibrasyon oturumu
Tüm denetçiler aynı 20–30 parçayı bağımsız değerlendirsin, sonra birlikte tartışılsın.
2
Limit örnek seti
Sınır parçaları fiziksel olarak tanımla ve istasyona yerleştir. Gri alanı kaldır.
3
Standart eğitim
Sadece kural değil, görsel örnek içeren eğitim materyali. Her hata kategorisi için fotoğraf.
4
Periyodik kappa ölçümü
Aylık/çeyreklik attribute MSA ile uyumu izle. κ düştüğünde kalibrasyon uygula.
Kültür Uyarısı
Uyum Testini Suçlama Aracına Çevirme
Uyumu ölçtüğünde 'kim daha kötü?' sorusuna cevap bulursun ve bunu yanlış kullanmak çok kolaydır. Ama unutma: bir denetçinin 'yanlış' karar vermesi neredeyse her zaman onun değil, sistemin hatasıdır — belirsiz standart, yetersiz eğitim, kötü aydınlatma, ortak referans eksikliği.
Uyum testini insanları azarlamak için kullanırsan herkes savunmaya geçer, dürüst ölçemezsin. Akıllı Green Belt testi 'kim suçlu?' için değil, 'sistemimiz neden insanları farklı karar vermeye itiyor?' için kullanır.
Hikâye
Gıda Paketleme: Ham Oran Gizledi, Analiz Gizli Riski İfşa Etti
Ham oran gizledi; şans-çıkarılmış analiz riski ifşa etti.
Green seviyesinin özü: bir uyum sayısı duyduğunda hemen rahatlama — ham oran mı, şans çıkarılmış gerçek uyum mu? Ve uyumu üç eşleşmede (kişi kendiyle, kişiler birbiriyle, herkes doğru cevapla) incele; uyumsuzluğun deseni (sistematik mi rastgele mi) kök nedeni gösterir. En önemlisi: testi asla suçlama için değil, sistemi anlamak için kullan.
Bir gıda paketleme tesisinde ürünlerin 'satılabilir' mi 'ıskarta' mı olduğuna üç denetçi karar veriyor. Yönetim gurur duyuyor: 'Denetçilerimiz %88 uyumlu.' Ekip şansı çıkarınca tablo değişiyor: ıskarta oranı zaten çok düşük olduğu için o %88'in büyük kısmı sahte — herkes çoğunluğa 'satılabilir' diyerek anlaşıyor. Şans çıkarılınca gerçek uyum düşük çıkıyor.
Dahası, doğru cevapla karşılaştırınca bir denetçinin sürekli 'satılabilir'e kaydığı, yani kusurlu ürünleri geçirdiği ortaya çıkıyor — bu, müşteriye giden bir risk. Ham oran 'her şey yolunda' diyordu; şans çıkarılmış analiz, gizli bir güvenlik riskini ifşa etti. Çözüm: ortak görsel standart ve o denetçiye yönelik kalibrasyon eğitimi — suçlama değil, sistem iyileştirme. Ders: şansı çıkar, gerçek uyumu inşa et.
İki tembel tanık metaforu (bakmadan 'sağlam' der, çoğunluk sağlam olduğu için %90 sahte uyum), şans filtresi (ham uyumdan tesadüf payı ayrışır), üç eşleşme (kişi kendiyle/kişiler birbiriyle/doğru cevapla), uyumsuzluğun deseni (sistematik→kalibrasyon / rastgele→net kriter), suçlama-değil-sistem kültür uyarısı ve gıda paketleme (%88 gurur → şans çıkarınca düşük + kusur geçiren denetçi) örneği; sahte uyumu ifşa etmeyi somutlaştırmak içindir.
Sık Hatalar
Denetçi Uyumunda Yaygın Tuzaklar
Ham uyum oranıyla rahatlamak
Düşük kusur oranı ham uyumu şişirir (herkes çoğunluğa 'sağlam' der). Şans çıkarılmış Kappa'ya bak — gerçek uyum genelde çok daha düşüktür.
% uyumu Kappa yerine kullanmak
% uyum şans faktörünü içerir; Kappa onu çıkarır. Sadece '%90 uyumlu' değil, 'κ kaç?' diye sor.
Sadece kişiler arası uyuma bakmak
Üç eşleşme var: kişi kendiyle, kişiler birbiriyle, herkes doğru cevapla. Herkes uyumlu ama hep birlikte doğru cevaptan sapıyor olabilir.
Uyumsuzluğun desenini incelemem
Sistematik sapma (bir denetçi hep sıkı) → kalibrasyon; rastgele kaos (desen yok) → belirsiz tanım/net kriter. Desen çözümü belirler.
Uyum testini suçlamaya çevirmek
'Yanlış' karar genelde sistemin hatasıdır (belirsiz standart, eğitim). Suçlarsan herkes savunmaya geçer; 'sistem neden farklı karar verdiriyor?' diye sor.
DMAIC Bağı
Attribute Agreement — Uyumun Sayısı
Denetçiler arası uyum, Measure'da nitel ölçümün en pratik testidir; Kappa ile şans çıkarılmış gerçek uyumu ölçer ve karar verinin güvenilirliğini garanti eder.
Nitel MSA ile
Önceki dersin üç sorusunu (tutarlılık/uyum/doğruluk) sayısal Kappa'ya çevirir.
Kappa ile
Cohen (2 denetçi) veya Fleiss (3+); κ ≥ 0.8 mükemmel, < 0.4 zayıf (standart gerekli).
Sonraki ders
Bu güvenilirlik fikrini kalite kontrol ve örnekleme kararlarına — AQL'e — taşıyoruz.
AI Köşesi
AI Sahte Güveni İfşa Eder, Gerçek Uyumu Sahada Sen İnşa Edersin
Uyum verini verip hem ham uyumu hem de şans çıkarılmış gerçek uyumu hesaplatabilirsin: 'bu uyum gerçek mi, yoksa düşük kusur oranı yüzünden şişmiş bir tesadüf mü?' Yapay zekâ bu kritik ayrımı yapıp seni sahte güvenden korur; ayrıca uyumsuzluğun deseninin sistematik mi rastgele mi olduğunu ve hangi denetçinin hangi yöne saptığını net teşhis eder. Ama uyumsuzluğun gerçek nedenini ve doğru standardı insan kurar: AI 'bu denetçi sistematik olarak sıkı' diyebilir; ama onun neden öyle olduğunu (farklı ustadan öğrenmiş, farklı vardiya, farklı eşik içselleştirmiş) ancak sahada konuşarak anlarsın. Ve uyumu sağlayacak ortak dili, suçlamadan, o insanlarla birlikte kuran sensin. Yapay zekâ sahte uyumu ifşa eder; gerçek uyumu inşa eden sensin.
AI Asistanı
Denetçilerinin 'yüksek uyumlu' olduğu mu söyleniyor? Kararları (mümkünse uzmanın gerçek kararı + kusur oranıyla) ver; ben ham uyumu ve şans-çıkarılmış gerçek uyumu hesaplayıp sahte güveni ifşa edeyim, üç eşleşmeyi ayırayım, sistematik sapan denetçiyi ve desenin türünü (kalibrasyon mu net kriter mi) söyleyeyim — suçlama değil sistem odaklı.
Bir Yalın Altı Sigma ölçüm sistemi mentoru gibi davran. Ekteki denetçi uyum verisini analiz et. (1) HAM uyum oranını hesapla. (2) KRİTİK: Kusur oranı düşük olduğu için bu uyumun ne kadarı şans eseri olabilir? Şans-çıkarılmış 'gerçek' uyumu (Kappa) yorumla — ham oran şişmiş mi? (3) Üç eşleşmeyi ayır: kişi kendiyle, kişiler birbiriyle, herkes doğru cevapla. (4) Uyumsuzluğun deseni SİSTEMATİK mi (bir denetçi hep sıkı/gevşek) yoksa RASTGELE mi? (5) Çözüm: kalibrasyon/ortak standart mı, yoksa daha net kriter/yöntem mi? (6) Bu testi suçlama değil sistem iyileştirme için nasıl çerçevelemeliyim? [Veriyi ekle.]
Şu iki denetçinin uyum matrisini yorumla: [2×2 hücreleri gir]. Ham uyum ve Kappa nedir? Ham oran şans yüzünden şişmiş mi, gerçek uyum ne düzeyde?
AI sahte uyumu ifşa eder — gerçek uyumu sahada sen inşa edersin.
Anlayalım
Tıkla, Cevabı Gör
Düşük kusur oranı yüzünden. Ürünlerin çoğu zaten sağlamsa, herkes 'sağlam' diyerek şans eseri yüksek uyum gösterir — hiçbir kusuru yakalamadan. Bu yüzden şans çıkarılmış Kappa'ya bakılır.
Kappa. 2 denetçi için Cohen's Kappa, 3+ denetçi için Fleiss Kappa. Ham uyumdan tesadüfen beklenen uyumu çıkarır: κ ≥ 0.8 mükemmel, < 0.4 zayıf.
Kök nedeni gösterir. Sistematik sapma (bir denetçi hep sıkı) → kalibrasyon ve ortak standart; rastgele kaos (desen yok) → karar zor/tanım belirsiz, daha net kriter gerekir. Farklı hastalıklar, farklı ilaçlar.
Cebine Koymalık
Yüksek ham uyum oranı, düşük kusur oranı yüzünden şans eseri olabilir — 'anlaşmak' ile 'şans eseri anlaşmak' aynı şey değildir; şansı çıkar, gerçek uyuma bak.
Denetçiler arası uyum, kişilerin aynı şeye ne sıklıkta aynı kararı verdiğidir; ama yüksek ham oran düşük kusur oranı yüzünden şans eseri olabilir — bu yüzden şansı çıkarıp gerçek uyuma (Kappa) bak. Üç eşleşmede incele: kişi kendiyle, kişiler birbiriyle, herkes doğru cevapla. Uyumsuzluğun deseni (sistematik mi rastgele mi) kök nedeni gösterir. Altın kural: testi asla suçlama için değil, sistemi anlamak için kullan — şansı çıkar, gerçek uyumu inşa et. Sıradaki: AQL ve kalite kontrol verilerinde güvenilirlik.
