P Değerinin Sınırları: Tekrarlanabilirlik ve Bayesçi Bakış

Bilim yaklaşık bir asırdır kanıtı büyük ölçüde tek bir sayıyla, p değeriyle tartıyor. Ronald Fisher’ın (1925) pratik bir ölçüt olarak yaygınlaştırdığı bu sayı, zamanla “doğru” ile “yanlış” arasındaki sınırı çizen bir yargıca dönüştü. Bu deneme p değerinin neyi ölçtüğünü, tekrarlanabilirlik krizindeki payını, Bayesçi çıkarımın sunduğu bakışı ve yapay zekada belirsizlik için ne anlama geldiğini ele alıyor.

p değeri neyi ölçer, neyi ölçmez?

p değeri, yokluk hipotezi (sıfır hipotezi, H₀) ve modelin bütün varsayımları doğruysa, gözlenen kadar ya da ondan daha uç bir sonucun elde edilme olasılığıdır. Örneğin iki yönlü bir z testinde:

Bu tanım araştırmacının çoğu zaman merak ettiği soruyu, “hipotezim doğru mu?” sorusunu yanıtlamaz. Amerikan İstatistik Derneği’nin bildirgesi bu ayrımı açıkça yapar: p değeri yokluk hipotezinin doğru olma olasılığı değildir, etkinin büyüklüğünü ya da önemini ölçmez ve bilimsel bir karar yalnız p değerinin bir eşiği geçip geçmemesine dayanmamalıdır (Wasserstein ve Lazar, 2016). Greenland vd. (2016) bu ve benzeri yanlış yorumların kapsamlı bir listesini verir; en yaygınlarından biri, anlamlı olmayan bir sonucu “etki yok” diye okumaktır.

Tekrarlanabilirlik krizi

Tekrarlanabilirlik krizi, yayımlanmış bulguların bağımsız tekrarlarda beklenenden çok daha sık doğrulanamamasıdır. Krizin tek nedeni p değeri değildir; ama p < .05’in “yayımlanabilir gerçek” eşiği olarak kullanılması, küçük örneklemler ve yayın yanlılığıyla birleşince bulguların güvenilirliğini zayıflattı.

Psikoloji ve tıptan sayılar

Open Science Collaboration (2015), psikolojinin önde gelen üç dergisinde yayımlanmış 100 çalışmayı yeniden yaptı. Özgün çalışmaların yüzde 97’si anlamlı sonuç bildirmişken tekrarların yalnız yüzde 36’sı anlamlı çıktı; ortalama etki büyüklüğü (korelasyon katsayısı r cinsinden) .403’ten .197’ye, yani yaklaşık yarıya indi.

Biyotıpta tablo benzerdir. Amgen’deki araştırmacılar “dönüm noktası” sayılan 53 kanser araştırmasından yalnız 6’sının bulgusunu doğrulayabildi (Begley ve Ellis, 2012). Bayer’in iç değerlendirmesinde, incelenen projelerin yaklaşık üçte ikisinde şirket içi veriler yayımlanmış verilerle tutarsızdı (Prinz vd., 2011).

Çatallanan yollar bahçesi

Gelman ve Loken (2014) sorunun önemli bir kaynağını “çatallanan yollar bahçesi” diye adlandırır. Araştırmacı hangi değişkenleri kontrol edeceğine, hangi aykırı değeri çıkaracağına, hangi alt grubu inceleyeceğine veriyi gördükten sonra karar verdiğinde, bilinçli bir “p avcılığı” (p-hacking: anlamlı sonuç çıkana dek analizi değiştirmek) yapmasa bile p değeri artık yokluk hipotezi altındaki olasılığı doğru yansıtmaz: başka bir veriyle başka bir yol seçilebilirdi. Önceden kayıt (preregistration), analiz planını veriden önce sabitleyerek bu çatallanmayı daraltır.

Sıklıkçı ve Bayesçi yaklaşım

İki gelenek olasılığı farklı tanımlar; bu bir hesaplama farkından çok bir yorum farkıdır.

Olasılığın tanımı ve parametreler

Sıklıkçı yaklaşımda olasılık, tekrarlanan denemelerdeki uzun dönem sıklıktır. Parametre (bir ilacın gerçek etkisi gibi) sabit ama bilinmeyen bir değerdir; rastgele olan veridir. %95 güven aralığı, model varsayımları doğruysa ve aynı yöntem aynı koşullarda tekrar tekrar çekilen örneklemlere uygulansaydı, elde edilen aralıkların yüzde 95’inin gerçek değeri kapsayacağı anlamına gelir; tek bir aralığın gerçek değeri yüzde 95 olasılıkla içerdiği anlamına gelmez.

Bayesçi yaklaşımda olasılık bir bilgi ya da inanç derecesidir. Parametre hakkındaki belirsizlik bir olasılık dağılımıyla ifade edilir; %95 güvenilir aralık (credible interval; güven aralığıyla karıştırılmamalı), verilen önsel ve model altında parametrenin bu aralıkta olma olasılığının yüzde 95 olduğunu söyler.

Bayes teoremi

Bayesçi çıkarım, veriyi gördükten sonraki bilgiyi Bayes teoremiyle kurar:

• Sonsal (posterior) $P(\theta \mid D)$: Veriden sonra parametre hakkındaki güncellenmiş dağılım.
• Olabilirlik (likelihood) $P(D \mid \theta)$: Parametrenin her değeri için verinin ne kadar olası olduğu.
• Önsel (prior) $P(\theta)$: Veriden önceki bilgi. Önceki çalışmaların bilgisi modele açıkça katılabilir; ama önsel seçimi sonucu etkileyebileceği için gerekçelendirilmeli ve farklı önsellerle sonucun ne kadar değiştiği gösterilmelidir.
• Kanıt (marjinal olabilirlik) $P(D)$: Verinin olasılığının, önsele göre ağırlıklandırılarak bütün parametre değerleri üzerinden alınan ortalaması; sonsalın toplamını 1’e eşitleyen ölçekleme sabiti.

Sorun yalnız p değeri mi?

p değerini Bayesçi bir sayıyla değiştirmek tek başına krizi çözmez. Bayes faktörleri (verinin iki hipotezden biri altında ötekine göre kaç kat daha olası olduğu) ve sonsal olasılıklar da bir eşiğe bağlanıp ikili karar aracına dönüştürülebilir; çatallanan yollar Bayesçi analizde de vardır. Önerilen çözümlerin bir kısmı sıklıkçı çerçevenin içindedir: p değerinin yanında etki büyüklüğü ve güven aralığı raporlamak, analizleri önceden kaydetmek, yeterli istatistiksel gücü sağlayacak örneklem büyüklüğünü planlamak, yeni bulgular için anlamlılık eşiğini .005’e çekmek (Benjamin vd., 2018). Asıl değişim, tek bir sayının eşiği geçip geçmediğinden etkinin büyüklüğü ve belirsizliğiyle ilgili bütünlüklü bir değerlendirmeye geçmektir (Wasserstein ve Lazar, 2016).

Yapay zekada belirsizlik

Derin öğrenme modellerinin çoğu bugün de tek bir “en iyi” ağırlık kümesiyle eğitilir ve tahmine eşlik eden güven puanı (tahmin olasılığı) bu tek modelden gelir. Bu güven gerçek doğrulukla her zaman örtüşmez: Guo vd. (2017), incelediği modern sinir ağlarının on yıl öncesinin daha küçük ağlarına göre kalibrasyonunun daha kötü olduğunu, yani güven puanlarının doğruluklarını abarttığını gösterdi ve bunu derinlik, genişlik ve toplu normalleştirme gibi etkenlere bağladı. Bu eğilim her mimaride aynı değildir; daha yeni bazı mimariler iyi kalibre çıkmıştır (Minderer vd., 2021). Tıbbi tanı ya da otonom sürüş gibi alanlarda modelin ne zaman emin olmadığını bilmek, doğru tahmin kadar önemlidir.

Belirsizliği ölçmek

Bayesçi sinir ağları, ağırlıkları tek değerler yerine olasılık dağılımları olarak ele alarak tahminle birlikte bir belirsizlik ölçüsü de üretmeyi amaçlar. Bu yaklaşım tek yol değildir: birden çok modelin tahminlerini birleştiren topluluklar (ensemble) ve modelin güven puanlarını sonradan yeniden ölçekleyen sıcaklık ölçekleme gibi kalibrasyon yöntemleri (Guo vd., 2017) de yaygındır. Belirsizlik ölçmek her sorunu da çözmez. Gözle fark edilmeyecek kadar küçük ama özenle hesaplanmış bir değişiklikle bir panda görüntüsünü yüzde 99,3 güvenle “jibon” (gibbon) olarak sınıflandıran düşmanca (adversarial) örnekler bunun bilinen bir örneğidir; aynı çalışma, birden çok modeli birleştiren bir topluluğun da bu örneklere dayanıklı olmadığını gösterdi (Goodfellow vd., 2015). Bayesçi yöntemler de bu sorunu ortadan kaldırmış değildir.

Büyük dil modelleri ve kalibrasyon

Büyük dil modellerinin yanlış bilgiyi güvenle sunması (“halüsinasyon”) yalnız bir kalibrasyon sorunu değildir: iyi kalibre bir model bile, doğruluğu eğitim verisinden çıkarılamayan keyfi olgularda, eğitim verisinde yalnız bir kez geçen olguların oranına yakın bir oranda yanlış bilgi üretmek zorundadır (Kalai ve Vempala, 2024). Yine de modelin kendi belirsizliğini iyi ifade etmesi sorunun bir parçasını hafifletebilir. Örneğin Laplace-LoRA, dil modelinin ince ayarı (fine-tuning) olağan biçimde yapıldıktan sonra, yalnız bu ince ayarda eklenen düşük ranklı uyarlama (LoRA) parametrelerinin sonsal dağılımına bir Laplace yaklaşımı uygular. Böylece bu parametrelerin tek bir değeri yerine çevresindeki belirsizliği yaklaşık olarak kestirir ve ince ayar yapılmış modellerin doğruluğunu koruyarak kalibrasyonunu belirgin biçimde iyileştirir (Yang vd., 2024).

Python ile Bayesçi güncelleme

Bayesçi yaklaşımın sezgisel bir yanı ardışık güncellemedir: bugünün sonsal dağılımı yarının önseli olur. Aşağıdaki örnek, bir düğmenin tıklanma oranını Beta-binom modeliyle, veri paketleri geldikçe günceller.

from scipy import stats

# Amaç: bir web sitesi düğmesinin tıklanma oranını veriler geldikçe güncellemek.
# Önsel Beta(1, 1): (0, 1) aralığındaki bütün oranlara başta eşit yoğunluk verir (tekdüze dağılım).
alfa, beta = 1, 1

# Veri paketleri: (tıklama, tıklamama)
paketler = [(10, 2), (50, 8), (100, 15)]

for tur, (tiklama, tiklamama) in enumerate(paketler, 1):
    # Beta önsel + binom olabilirlik → Beta sonsal: sayıları eklemek yeterli.
    alfa, beta = alfa + tiklama, beta + tiklamama
    ortalama = alfa / (alfa + beta)
    # Beta(α, β) varyansı = αβ / [(α + β)² (α + β + 1)]
    varyans = alfa * beta / ((alfa + beta) ** 2 * (alfa + beta + 1))
    alt, ust = stats.beta.ppf([0.025, 0.975], alfa, beta)
    print(f"Tur {tur}: Beta({alfa}, {beta}) · ortalama {ortalama:.3f} · "
          f"varyans {varyans:.6f} · %95 güvenilir aralık [{alt:.3f}, {ust:.3f}]")

Çıktı:

Tur 1: Beta(11, 3) · ortalama 0.786 · varyans 0.011224 · %95 güvenilir aralık [0.546, 0.950]
Tur 2: Beta(61, 11) · ortalama 0.847 · varyans 0.001773 · %95 güvenilir aralık [0.756, 0.920]
Tur 3: Beta(161, 26) · ortalama 0.861 · varyans 0.000637 · %95 güvenilir aralık [0.808, 0.907]

Veri biriktikçe aralık daralır: tahminin belirsizliği azalır. Klasik, sabit örneklemli testlerde düzeltme yapılmadan ara bakışlarda anlamlı sonuç çıkınca durmak 1. tip hata oranını şişirir; sıklıkçı yaklaşım bunun için önceden planlanmış ardışık desenler kullanır. Bayesçi analizde ara bakışlar sonsal dağılımın kendisini geçersiz kılmaz, ama bu bakışlara dayanan kararların uzun dönem hata oranları yine de incelenmelidir.

Sonuç: eşikten belirsizliğe

p değeri yanlış bir araç değildir; tek başına ve bir eşiğe bağlanarak kullanıldığında yanıtlamadığı sorulara (“hipotezim doğru mu?”, “etki önemli mi?”) yanıt veriyormuş gibi okunur. Bayesçi çıkarım belirsizliği doğrudan parametre üzerinde ifade ettiği için bu bakışı kolaylaştırır, ama kendi varsayımlarını (önseli, modeli) da beraberinde getirir. Asıl soru “bu etki anlamlı mı?” değil, “etki ne kadar büyük, ne kadar emin olabiliriz ve bu kararımızı nasıl değiştirir?” sorusudur. Yapay zekada da aynı soru geçerlidir: güvenilir bir model, ne zaman bilmediğini de söyleyebilen modeldir. Klasik ve Bayesçi analizi aynı menüden yan yana sunan bir program için JASP yazımıza bakabilirsiniz.

Sık sorulan sorular

p değeri neden tek başına yetersiz sayılıyor?

p değeri hipotezin doğru olma olasılığını değil, H₀ doğruysa verinin ne kadar şaşırtıcı olduğunu ölçer; etkinin büyüklüğünü de söylemez (Wasserstein ve Lazar, 2016). Bir eşiğin (ör. .05) ikili bir karar aracı olarak kullanılması, küçük örneklemler ve yayın yanlılığıyla birlikte tekrarlanamayan bulgulara katkıda bulunmuştur.

Bayesçi ve sıklıkçı yaklaşım arasındaki temel fark nedir?

Sıklıkçı yaklaşım parametreyi sabit, veriyi rastgele kabul eder ve yöntemlerin uzun dönem davranışını değerlendirir. Bayesçi yaklaşım parametre hakkındaki belirsizliği bir olasılık dağılımıyla ifade eder ve önceki bilgiyi önsel olarak modele katar.

Yapay zekada belirsizlik ölçümü neden önemlidir?

Yüksek riskli alanlarda modelin yalnız tahmini değil, ne kadar emin olduğu da kararı etkiler. Guo vd. (2017) modern sinir ağlarının güven puanlarını abartma eğiliminde olduğunu gösterdi; bu eğilim mimariye göre değişse de (Minderer vd., 2021) kalibrasyon ve belirsizlik ölçümü bu yüzden ayrıca ele alınır.

Laplace-LoRA nedir?

Büyük dil modellerinin LoRA ile ince ayarından sonra uygulanan Bayesçi bir yöntemdir: ince ayarı değiştirmeden, yalnız LoRA parametrelerinin sonsal dağılımına bir Laplace yaklaşımı uygulayarak bu parametrelerin çevresindeki belirsizliği yaklaşık olarak kestirir. Yazarların sağduyu akıl yürütme ve metin sınıflandırma deneylerinde ince ayar yapılmış modellerin aşırı güvenini azaltarak kalibrasyonunu iyileştirir (Yang vd., 2024); makale halüsinasyonu ölçmez, dolayısıyla halüsinasyonu azalttığı gösterilmiş değildir.