Bir hipotez testi yaptın ve karar verdin: ya "fark var" dedin ya "fark yok". Ama rahatsız edici bir gerçek var: bu karar, ne olursa olsun, yanlış olabilir. İstatistik kesinlik vermez; olasılık verir. Ve bu dersin kalbi şu: yanılmanın iki farklı yolu vardır, ikisi tamamen farklı şeylerdir ve farklı bedelleri vardır. Bunları tanımak, hangi riski almaya razı olduğuna bilinçle karar vermeni sağlar.
Tehlike yok, alarm sessiz. Test doğru çalıştı.
Yanlış alarm! H₀ doğruydu ama reddedildi. Yanlış pozitif.
Yangın var ama alarm çalmadı! H₀ yanlıştı ama reddedilemedi. Yanlış negatif.
Yangın var, alarm çaldı. Test doğru çalıştı.
4 karar senaryosunu Tip 1 / Tip 2 / Doğru Karar olarak sınıflandır.
H₀ doğruyken onu reddetme olasılığı. Genellikle 0.05. Azaltmak istersen α'yı küçült.
H₀ yanlışken onu reddedememe olasılığı. Örneklem büyüklüğüne bağlı. Azaltmak istersen n'yi artır.
H₀ yanlışken onu reddetme olasılığı. Testin 'farkı yakalama gücü'. Genellikle ≥0.80 hedeflenir.
Tip 1'den çok korkuyorsan testini çok şüpheci kurarsın, sadece çok güçlü kanıtta 'fark var' dersin — ama o zaman gerçek ama zayıf farkları da kaçırırsın; Tip 2 artar. Hiçbir gerçek farkı kaçırmak istemiyorsan eşiği gevşetirsin — ama şans eseri çıkan farkları da 'gerçek' sanırsın; Tip 1 artar. Bir mahkeme ne kadar 'asla masumu mahkûm etme' derse, o kadar çok suçluyu serbest bırakır.
Bir üretim şirketi, pahalı yeni bir makinenin hata oranını düşürdüğünü test ediyor. Tip 1 hatası yaparlarsa: makine aslında fark yaratmıyorken "yaratıyor" derler ve milyonlarca lira harcayıp tüm fabrikaya alırlar — boşa giden devasa bir yatırım.
Tip 2 hatası yaparlarsa: makine gerçekten işe yarıyorken, az veriyle yaptıkları zayıf test bunu yakalayamaz; "fark yok" derler ve gerçek bir iyileştirmeyi reddederler — kaçırılan büyük bir fırsat.
Green Belt önce soruyor: "Bu kararda hangi hata daha pahalı?" Yatırım büyük ve geri dönüşsüz olduğu için Tip 1'den daha çok korkuyorlar; testi katı kuruyorlar. Ama Tip 2'yi de görmezden gelmemek için kararı zayıf bir testle değil, yeterli örneklemle veriyorlar. İki hatayı da bilinçle yönettiler; körlemesine değil.
Tip 1/Tip 2 dengesi, Analyze'daki her test kararının arkasında durur: eşik ve örneklem, 'hangi yanılgıyı göze alıyoruz' sorusunun bilinçli cevabı olmalıdır — Improve'a taşınacak kök neden bu dengeyle güvence altına alınır.
Test kurarken "bu durumda Tip 1 ve Tip 2 hatanın bedelleri neler, hangisinden daha çok korkmalıyım, eşiğimi ve örneklem büyüklüğümü buna göre nasıl ayarlamalıyım?" diye sorabilirsin. Yapay zekâ, iki hata türünün senin bağlamındaki sonuçlarını düşünmene ve testinin gücünü değerlendirmene yardım eder — "bu örneklemle gerçek bir farkı kaçırma riskin yüksek mi?" Seni zayıf testten 'fark yok' çıkarma tuzağına karşı da uyarır. Ama "fırsatı kaçırmak mı, boşa yatırım mı bizim için daha kötü?" sorusu projenin ve şirketin önceliklerine bağlıdır — bu denge kararı çoğu zaman sponsoru ve ekibi de içine alan kolektif bir karardır.
Tip 1: yanlış alarm — Tip 2: kaçırılan yangın. α'yı küçültmek yanlış alarm riskini azaltır ama yangını gözden kaçırma riskini artırır. Her ikisini birden kontrol etmek için örneklem büyüklüğünü hesaplamak gerekir.