Bilimsel Araştırma Süreci ve İstatistiksel Hata Türleri

Bilimsel araştırma süreci, bir iddiayı veriyle sınamanın adımlarıdır: araştırmacı bir hipotez kurar, veri toplar ve verinin “etki yok” varsayımıyla ne kadar uyumlu olduğuna bakarak karar verir. Bu kararda iki tür hata yapılabilir. Bu yazı süreci adım adım, hata türlerini, anlamlılık düzeyini, p değerini ve istatistiksel gücü anlatır.

Hipotez testi nedir ve nasıl ilerler?

Hipotez testi, kitle hakkında bir iddiayı örneklem verisiyle sınama yöntemidir. Süreç beş adımda ilerler:

1. Hipotezleri kurmak. Araştırmacının savunduğu önerme alternatif hipotezdir (H₁). Bunun tersi, yani etkinin ya da farkın olmadığı önerme, yokluk hipotezidir (H₀).
2. Anlamlılık düzeyini (α) ve hedef gücü veriden önce belirlemek. Bu iki sayı karar kuralını sabitler ve gereken örneklem büyüklüğünü belirler.
3. Veriyi toplamak.
4. Test istatistiğini ve p değerini hesaplamak. Örneklem verisinden bir test istatistiği hesaplanır; bu istatistiğin H₀ doğruyken hangi dağılıma uyduğu bilinir (çoğu zaman z, t, ki-kare ya da F dağılımı). p değeri bu dağılımdan bulunur.
5. Karar vermek. p < α ise H₀ reddedilir; aksi durumda H₀ reddedilemez. H₀’ın reddedilememesi, H₀’ın doğru olduğu anlamına gelmez (Greenland vd., 2016).

İstatistiksel olarak anlamlı bir sonuç, farkın pratikte önemli olduğu anlamına da gelmez (Wasserstein ve Lazar, 2016); bunu etki büyüklüğü ve alan bilgisi söyler (Cohen, 1994).

Hata türleri nedir?

Bir örnek üzerinden düşünelim: Bir araştırmacı, dil eğitiminde geliştirdiği yeni bir tekniğin mevcut tekniklerden daha başarılı olduğunu iddia ediyor.

• H₀: Yeni teknik ile mevcut teknikler arasında dil öğrenme başarısı bakımından fark yoktur.
• H₁: Yeni teknik mevcut tekniklerden daha başarılıdır.

Gerçekte ya bir etki vardır ya da yoktur; araştırmacı da ya H₀’ı reddeder ya da reddedemez. Bu iki durumun dört birleşimi vardır:

Kararınız	Gerçekte H₀ doğru (etki yok)	Gerçekte H₀ yanlış (etki var)
H₀’ı reddettiniz	1. tip hata (olasılığı α)	Doğru karar (olasılığı 1 − β, güç)
H₀’ı reddedemediniz	Doğru karar (olasılığı 1 − α)	2. tip hata (olasılığı β)

• 1. tip hata (α hatası): Gerçekte var olmayan bir etkiyi var saymak. Örnekte: yeni teknik daha başarılı değilken öyleymiş gibi bir sonuca varmak.
• 2. tip hata (β hatası): Gerçekte var olan bir etkiyi kaçırmak. Örnekte: yeni teknik gerçekten daha başarılıyken bunu gösterememek.

Anlamlılık düzeyi (α) nedir?

• α, H₀ doğruyken onu yanlışlıkla reddetme, yani 1. tip hata yapma olasılığı için kabul ettiğimiz üst sınırdır.
• Araştırmacılar çoğunlukla .05’i seçer; .01, .005 ya da .10 da kullanılır. Yeni bulgular için daha katı bir eşik (.005) önerilmiştir (Benjamin vd., 2018); karşı görüş ise tek bir eşik yerine α’nın her çalışmada 1. ve 2. tip hatanın bedeline göre seçilip gerekçelendirilmesini savunur (Lakens vd., 2018).
• α veriyi görmeden belirlenir ve sonuçlar görüldükten sonra değiştirilmez.

α, test istatistiği için bir kritik değer (eşik) tanımlar: H₀ doğruyken test istatistiğinin bu eşiği aşma olasılığı α’ya eşittir. Eşiğin ötesi red bölgesidir; test istatistiği bu bölgeye düşerse sonuç “istatistiksel olarak anlamlı” sayılır.

p değeri nedir?

• p değeri veriden hesaplanır ve karar için α ile karşılaştırılır; 0 ile 1 arasında değer alır.
• α araştırmanın başında sabitlenirken, p değeri toplanan veriye göre değişir.

Kavramsal tanımı: H₀ doğru olsaydı, en az gözlenen kadar uç bir sonuç elde etme olasılığıdır. Yazılımlarda çoğu zaman “Sig.” olarak geçer. p değeri, H₀’ın doğru olma olasılığı da değildir, sonucun “yalnızca şans eseri” ortaya çıkma olasılığı da değildir (Wasserstein ve Lazar, 2016). p değerinin tekrarlanabilirlik krizindeki payı ve sıklıkçı yaklaşımla Bayesçi yaklaşımın karşılaştırması p değerinin sınırları yazısında tartışılır.

2. tip hata (β) ve testin gücü nedir?

2. tip hata, gerçekte yanlış olan H₀’ın reddedilmemesidir: kitlede var olan bir etkiyi tespit edememek. Bazı çalışmalarda bu hata 1. tip hata kadar ağır sonuçlar doğurabilir (ör. etkili bir tedaviyi “etkisiz” bulmak). Örneklem büyüklüğü ve etki büyüklüğü sabitken α’yı küçültmek β’yı büyütür; iki hata arasında bir denge vardır.

Testin gücü (1 − β), gerçekte yanlış olan H₀’ı reddedebilme, yani var olan bir etkiyi yakalayabilme olasılığıdır.

• Yaygın öneri, 2. tip hata olasılığının en çok .20, dolayısıyla gücün en az .80 olmasıdır (Cohen, 1988). Bunun anlamı şudur: etki gerçekten varsa, aynı çalışma çok kez tekrarlandığında uzun vadede tekrarların yaklaşık beşte birinde bu etki gösterilemeyecektir.
• Gücü belirleyen dört etken vardır: örneklem büyüklüğü, anlamlılık düzeyi (α), gerçekte var olan etkinin büyüklüğü ve verinin değişkenliği.
• Güç, veri toplanmadan önce, beklenen etki büyüklüğü varsayılarak hesaplanır (a priori güç analizi) ve gereken örneklem büyüklüğünü belirler. Bunun için G*Power gibi araçlar vardır.
• Çalışma bittikten sonra gözlenen etkiyle hesaplanan “gözlenen güç” (post hoc güç) yeni bilgi vermez; p değerinin başka bir ifadesidir (Hoenig ve Heisey, 2001).

Örnek: dil eğitimi çalışması için kaç öğrenci gerekir?

Araştırmacı, yeni tekniğin etkisinin orta büyüklükte olacağını öngörüyor (Cohen’in d ölçüsüyle 0,5: iki grubun ortalamaları arasında yarım standart sapma fark). İki bağımsız grupla (yeni teknik ve mevcut teknik) çift yönlü bir bağımsız örneklem t-testi yapacak; α = .05 ve hedef güç .80.

Etki büyüklüğü (Cohen d)

0.5

Anlamlılık düzeyi (α)

0.05

Hedef güç (1 − β)

0.8

Bu örnekteki tüm sayılar statsmodels 0.14.6 ile bağımsız olarak yeniden hesaplanır.

Bu koşullarda grup başına 64, toplam 128 öğrenci gerekir. Bu sayıyla gerçekleşen güç .80’dir. Grup başına daha az öğrenciyle çalışılırsa, etki gerçekten orta büyüklükte olsa bile onu gösterme olasılığı .80’in altına düşer. Etki daha küçükse gereken örneklem hızla büyür; daha büyükse küçülür.

Bir araştırma nasıl sonuçlandırılır?

1. H₀’ın doğru olduğu, yani iddia edilen etkinin olmadığı varsayılarak başlanır.
2. Bu varsayımı sınayacak veri toplanır.
3. Test istatistiği hesaplanır.
4. H₀ altındaki örnekleme dağılımından p değeri bulunur.
5. p değeri, baştan belirlenen α ile karşılaştırılır: p < α ise H₀ reddedilir, aksi durumda reddedilemez. Karar, etki büyüklüğü ve güven aralığıyla birlikte raporlanır.

Sık sorulan sorular

α’yı çok küçük seçmek daha mı güvenli?

Yalnızca 1. tip hata açısından. Örneklem ve etki büyüklüğü sabitken α küçüldükçe β büyür ve güç azalır: var olan etkileri kaçırma olasılığı artar. α ve hedef güç birlikte, çalışmanın başında, hataların bedeline göre belirlenmelidir.

p = .06 çıktı; “etki yok” diyebilir miyim?

Hayır. H₀ reddedilemedi demek, etkinin olmadığını göstermez; çalışmanın gücü düşük olabilir. Etki büyüklüğünü ve güven aralığını raporlayın.

Hata türleri bir araştırmada kaçınılmaz mı?

Evet, örneklemle çalışıldığı sürece hata olasılığı sıfırlanamaz. Yapılabilecek olan, α’yı gerekçelendirmek ve örneklemi yeterli güce göre planlamaktır.

Güç analizini çalışma bittikten sonra yapabilir miyim?

Gözlenen etkiyle hesaplanan güç yeni bilgi vermez (Hoenig ve Heisey, 2001). Bunun yerine, farklı etki büyüklükleri için çalışmanızın gücünün ne olduğunu raporlayabilirsiniz.