Ön Test Son Test Modeli: Hangi Analiz Yapılır?
Basira Editör Ekibi · · 10 dk okuma · Bilimsel inceleme: Doç. Dr. Hasan Yıldırım
Aa Yazı boyutu
Anahtar çıkarımlar
- Ön test son test modelinde sonuç değişkeni uygulamadan önce ve sonra ölçülür; kontrol grubu yoksa gözlenen değişim uygulamaya bağlanamaz, varsa etki iki grubun karşılaştırılmasıyla kestirilir.
- Kontrol gruplu desende dört yol vardır: yalnız son test, fark (kazanç) puanı, karışık ANOVA'daki grup × zaman etkileşimi ve ön testi ortak değişken alan ANCOVA; fark puanı ile etkileşim aynı soruyu sorar.
- Rastgele atamalı gruplarda ANCOVA hem yansız hem en kesin seçenektir; ön testte farklı başlayan hazır gruplarda ANCOVA ile fark puanı ayrışabilir ve hangisinin doğru olduğu grupların neden farklı başladığına bağlıdır.
- Her grupta ayrı ön test–son test karşılaştırması yapıp 'deney grubunda anlamlı, kontrolde anlamsız' sonucundan etki çıkarılmaz; gruplar birbiriyle doğrudan karşılaştırılır.
İçindekiler
Ön test son test modeli, sonuç değişkeninin bir uygulamadan önce (ön test) ve sonra (son test) ölçüldüğü araştırma desenidir. Kontrol grubu yoksa grubun değişimi eşleştirilmiş örneklem t-testiyle betimlenir ama uygulamaya bağlanamaz; kontrol grubu varsa etki, iki grubun son testteki farkının ön test hesaba katılarak karşılaştırılmasıyla, örneğin ANCOVA ya da fark puanıyla kestirilir.
Bu yazı, kontrol gruplu ön test–son test verisinde hangi analizin hangi soruyu yanıtladığını aynı sentetik veride dört analizle gösterir. Desenin rastgele atamalı ya da yarı deneysel olmasının yoruma etkisi yarı deneysel desen, analizin bütün süreci tez istatistik analizi yol haritası yazısındadır.
Ön test son test modeli nedir?
Ön test son test modeli (pretest–posttest design), aynı kişilerin aynı ölçme aracıyla uygulamadan önce ve sonra ölçüldüğü desendir; bu yüzden her kişinin iki puanı vardır ve iki puan birbirinden bağımsız değildir. Desenin iki temel biçimi vardır. O bir ölçümü, X uygulamayı gösterir:
| Biçim | Şema | Yanıtladığı soru | Sınırı |
|---|---|---|---|
| Tek grup ön test–son test | O X O | Grup uygulamadan sonra değişti mi? | Değişimi uygulamaya bağlayamaz |
| Kontrol gruplu ön test–son test | O X O / O O | Uygulama grubu kontrol grubundan farklı değişti mi? | Gruplar rastgele atanmadıysa başlangıç farkı yorumu zorlaştırır |
Tek grup deseninde son testteki iyileşme uygulamadan da, aradaki sürede olan başka olaylardan, katılımcıların kendiliğinden gelişmesinden ya da ön testte uç puan alanların ikinci ölçümde ortalamaya yaklaşmasından da gelebilir. Kontrol grubu bu açıklamaları sınamanın aracıdır: iki grup aynı dönemi, aynı ölçümleri ve aynı koşulları yaşar, yalnız biri uygulamayı alır.
Kontrol gruplu desende katılımcılar gruplara rastgele atandıysa desen deneyseldir; hazır gruplar (şubeler, klinikler) kullanıldıysa yarı deneyseldir. Analiz yöntemleri aynıdır, ama iki durumda hangi yöntemin yansız olduğu değişir.
Kontrol gruplu ön test–son test verisi hangi yollarla analiz edilir?
Kontrol gruplu ön test–son test verisinde grup farkı dört yolla kestirilebilir: yalnız son test, fark (kazanç) puanı, karışık ANOVA ve ANCOVA. Dördü de son test farkından, ön testteki farkın belli bir katını çıkarır. D uygulama, K kontrol grubunu, son test, ön test ortalamasını gösterir:
| Yol | Ne karşılaştırılır? | Ne zaman uygun? | |
|---|---|---|---|
| Yalnız son test | Son test ortalamaları (Welch t-testi) | 0 | Ön test yoksa; ön test varsa bilgi boşa gider |
| Fark (kazanç) puanı | Son test − ön test farklarının ortalamaları (Welch t-testi) | 1 | Ön test ile son test güçlü ilişkiliyse; hazır gruplarda bir seçenek |
| Karışık ANOVA | Grup × zaman etkileşimi | 1 | Fark puanıyla aynı soruyu sorar; ikiden çok ölçümde genişler |
| ANCOVA | Ön testi ortak değişken alan regresyonda grup katsayısı | Grup içi eğim | Rastgele atamalı desenin varsayılan analizi |
Karışık ANOVA ile fark puanının aynı kutuda olması bir rastlantı değildir. İki grup ve iki ölçümlü karışık desende grup × zaman etkileşiminin F değeri, fark puanlarını karşılaştıran Student t değerinin karesine eşittir; aşağıdaki örnekte F = t² = 38.28 çıkar. Huck ve McLean (1975) bu desende tekrarlı ölçümler ANOVA’sının raporladığı üç etkiden yalnız etkileşimin uygulamanın etkisine ilişkin soruyu yanıtladığına dikkat çeker: grubun ana etkisi ön ve son testin ortalamasını, zamanın ana etkisi iki grubun birlikte değişimini sınar.
ANCOVA’nın üstünlüğü kesinliktir. Vickers ve Altman (2001), ön test ile son test arasındaki ilişki zayıfken fark puanının hataya varyans eklediğini, güçlüyken yalnız son testin bilgi kaybettiğini gösterir ve ANCOVA’yı genel olarak yeğlenecek yaklaşım olarak önerir. Van Breukelen (2006) da rastgele atamalı çalışmalarda iki yöntemin yansız, ANCOVA’nın daha güçlü olduğunu bildirir.
Hangi durumda hangi analiz seçilir?
Ön test son test verisinde analiz seçimi önce desene (kontrol grubu, rastgele atama, ölçüm sayısı), sonra sonuç değişkeninin ölçek düzeyine ve dağılımına göre yapılır.
| Durum | Birincil analiz | Duyarlılık analizi |
|---|---|---|
| Tek grup, iki ölçüm, sürekli sonuç | Eşleştirilmiş örneklem t-testi (etki: yalnız betimsel) | Wilcoxon işaretli sıralar testi |
| Tek grup, iki ölçüm, sıralı sonuç | İşaret testi | Eşleştirilmiş örneklem t-testi |
| Tek grup, üç ya da daha çok ölçüm | Tekrarlı ölçümler varyans analizi | Friedman testi |
| Tek grup, üç ya da daha çok ölçüm, sıralı sonuç ya da ikili farklar belirgin biçimde normal dışı | Friedman testi | Tekrarlı ölçümler varyans analizi |
| Kontrol grubu, rastgele atama | ANCOVA (ön test ortak değişken) | Fark puanlarının Welch t-testi |
| Kontrol grubu, hazır gruplar | Varsayımı yazılmış yöntem: ANCOVA ya da fark puanı | Öteki yöntem; ayrışırsa ikisi de raporlanır |
| Kontrol grubu, fark puanları belirgin biçimde normal dışı | Fark puanlarının Mann-Whitney U testi | Welch t-testi ve ANCOVA |
| Kontrol grubu, sıralı sonuç | Son test puanlarının Mann-Whitney U testi (sıralı ölçekte fark puanı yorumlanamaz; ön test farkı bu analizle hesaba katılmaz) | Son test puanlarının Welch t-testi |
| Kontrol grubu, üç ya da daha çok ölçüm (izlem dahil) | Karışık ANOVA ya da karma (çok düzeyli) model | Ön testi ortak değişken alan model |
Tablodaki t-testi, Welch, Mann-Whitney, Wilcoxon, işaret testi, tekrarlı ölçümler varyans analizi ve Friedman testi seçimleri bu blogdaki test seçimi yazılarının yazılı karar kuralını izler: varsayılan test parametriktir; bir grup (eşleştirilmiş veride farklar) belirgin biçimde normal dışıysa (|çarpıklık| > 2 ya da |fazla basıklık| > 7; West vd., 1995) ya da sonuç değişkeni sıralıysa parametrik olmayan test birincil olur. Sıralı ölçekte tek grup ön test–son test için Wilcoxon yerine işaret testi kullanılır. Öteki test her durumda duyarlılık analizi olarak raporlanır. İki test ayrışırsa bu ayrışma raporda açıkça yazılır.
ANCOVA, karışık ANOVA ve karma modeller bu kuralın kapsamında değildir; desene göre seçilir. Shapiro-Wilk testi raporlanır ama seçimi belirlemez; gerekçesi parametrik ve parametrik olmayan testler yazısındadır.
Hazır gruplarda seçim istatistikten çok desen sorusudur. Lord (1967), aynı veride fark puanının “grup farkı yok”, ön testi denetleyen analizin “grup farkı var” diyebileceğini göstermiştir.
Van Breukelen (2006), ön testte farklı başlayan hazır gruplarda iki yöntemin birlikte yansız olamayacağını ve çelişebileceğini; atama ön teste göre yapıldıysa yalnız ANCOVA’nın yansız olduğunu gösterir. Hazır gruplarda fark puanını daha az yanlı bulsa da yazar iki kontrol grubu ve iki ön ölçüm önerir.
Senn (2006) ise ANCOVA’nın yansız olması için grupların ön testte (beklenen değerde bile) eşit olmasının gerekli koşul olmadığını, ANCOVA’nın yanlı olabileceği durumlarda fark puanının yansız olacağı koşulları kurmanın ise çok güç olduğunu savunur. Van Breukelen ile Senn’in değerlendirmeleri hazır gruplarda ayrıştığı için seçim tartışmalıdır ve iki analiz birlikte raporlanır.
İpucu
Pratik sonuç şudur: grupların neden farklı başladığına ilişkin varsayım analizden önce yazılır ve iki yöntem ayrışırsa bu açıkça tartışılır.
Ölçüm ikiden fazlaysa (ör. ön test, son test ve üç ay sonraki izlem) iki ölçümlü yöntemler yetmez; zaman içindeki değişimin bütünü tekrarlı ölçümler varyans analizi ya da karma modellerle incelenir.
Örnek: aynı veride dört analiz
Aşağıdaki sonuçlar, sentetik (yapay olarak üretilmiş) bir terapi verisinden R 4.5.1 ile hesaplanmıştır. Bilişsel davranışçı terapi (BDT) alan 50 kişi ile bekleme listesindeki 50 kişinin belirti şiddeti puanı uygulamadan önce ve sonra ölçülmüştür; yüksek puan daha şiddetli belirti demektir. Veri, iki grubun ön test dağılımı aynı olacak biçimde, yani rastgele atanmış gibi üretilmiştir. Sabit bir rastgele sayı tohumu kullanıldığı için aynı kod her koşuda aynı sayıları verir.
Tablo 1
Gruplara Göre Ön Test, Son Test ve Fark Puanlarının Betimsel İstatistikleri
| Grup | n | Ön test M (SS) | Son test M (SS) | Fark M (SS) | Ön–son r |
|---|---|---|---|---|---|
| BDT | 50 | 58.80 (10.09) | 52.06 (13.76) | −6.74 (5.73) | .93 |
| Bekleme listesi | 50 | 59.16 (7.79) | 59.34 (10.98) | 0.18 (5.45) | .89 |
Not. Fark = son test − ön test; negatif değer belirtinin azaldığını gösterir.
Grupların ön test ortalamaları arasındaki fark 0,36 puandır (Tablo 1). Aynı veride dört analiz şu kestirimleri verir (BDT eksi bekleme listesi; Tablo 2):
Tablo 2
Aynı Veride Dört Analizle Kestirilen Grup Farkı (BDT Eksi Bekleme Listesi)
| Analiz | Kestirilen fark | %95 GA | Test |
|---|---|---|---|
| Yalnız son test (Welch t-testi) | −7.28 | [−12.22, −2.34] | t(93.40) = −2.92, p = .004 |
| Fark puanı (Welch t-testi) | −6.92 | [−9.14, −4.70] | t(97.77) = −6.19, p < .001 |
| Karışık ANOVA, grup × zaman | −6.92 | — | F(1, 98) = 38.28, p < .001 |
| ANCOVA (ön test ortak değişken) | −6.83 | [−8.85, −4.80] | F(1, 97) = 44.81, p < .001 |
Not. Karışık ANOVA’nın F değeri, fark puanlarını karşılaştıran Student t değerinin karesidir: t(98) = 6.187, t² = 38.28.
Neden üç farklı kestirim? Yalnız son test, ön testteki 0,36 puanlık şans farkını da sonuca katar ve en geniş aralığı verir: ön test ile son test arasındaki güçlü ilişkiden (gruplarda r = .93 ve .89) hiç yararlanmaz. Fark puanı bu ilişkiden yararlanır ve aralığı yarıdan fazla daraltır. ANCOVA, ön testin son testi ne kadar yordadığını veriden kestirir (grup içi eğim b = 1.26) ve en dar aralığı verir; düzeltilmiş ortalamalar BDT için 52,29, bekleme listesi için 59,11’dir.
Bu veride üç yol aynı yönde ve anlamlıdır; farkları büyüklük ve kesinliktedir. Ön testte belirgin biçimde farklı başlayan hazır gruplarda ise fark puanı ile ANCOVA ayrışabilir: biri grup farkı yok, öteki var diyebilir (Lord, 1967).
Varsayımlar. ANCOVA’nın ek varsayımı eğimlerin homojenliğidir: ön test ile son test arasındaki ilişkinin iki grupta aynı olması. Grup × ön test etkileşimi anlamlı değildi, F(1, 96) = 0.03, p = .863.
Fark puanlarının çarpıklık ve fazla basıklık değerleri eşiklerin çok altındaydı (|G1| ≤ 0.45, |G2| ≤ 0.44); bu yüzden parametrik analiz birincil kalır: birincil analiz ANCOVA, duyarlılık analizi fark puanlarının Welch t-testidir. Fark puanlarının parametrik olmayan karşılığı olan Mann-Whitney U testi de aynı sonucu verdi (p < .001).
Dikkat
Grup içi testler neden yetmez? Her grupta ayrı eşleştirilmiş t-testi yapıldığında BDT grubunda belirti şiddeti anlamlı biçimde azaldı, t(49) = −8.32, p < .001, bekleme listesinde azalmadı, t(49) = 0.23, p = .816. Bu iki sonuç yan yana konduğunda etkili bir uygulama izlenimi verir, ama bu izlenim iki grubun birbiriyle karşılaştırılmasından gelmez. Bu veride doğru karşılaştırma da aynı yönü gösterdiği için sonuç değişmiyor; ama grup içi testler grupları karşılaştırma sorusunu yanıtlamaz ve başka bir veride yanıltabilir (Bland ve Altman, 2011).
Ön test son test sonuçları nasıl raporlanır?
Rapor dört bilgiyi taşır: her grubun ön test ve son test betimseli, birincil analiz ve gerekçesi, etki büyüklüğü ve güven aralığı, duyarlılık analizi. Yukarıdaki örnek için bir bulgular paragrafı şöyle yazılabilir:
Tezde nasıl yazılır
“Ön test puanı ortak değişken olarak alındığında BDT grubunun son test belirti şiddeti bekleme listesinden düşüktü, F(1, 97) = 44.81, p < .001, kısmi η² = .32. Düzeltilmiş ortalamalar BDT için 52,29, bekleme listesi için 59,11 idi; düzeltilmiş fark −6,83 puan, %95 GA [−8.85, −4.80]. Grup × ön test etkileşimi anlamlı değildi, F(1, 96) = 0.03, p = .863. Fark puanlarının Welch t-testiyle karşılaştırılması (duyarlılık analizi) aynı sonucu verdi: fark −6,92 puan, %95 GA [−9.14, −4.70].”
Etki büyüklüğü olarak ANCOVA’da kısmi η² ya da düzeltilmiş farkın kendisi güven aralığıyla verilir; ölçeğin birimi okur için anlamlıysa (ör. belirti şiddeti puanı) ham fark en açık etki büyüklüğü olabilir. Grup içi değişimin etki büyüklüğü ise ayrı bir şeydir: BDT grubunda = −1.18 bulundu, ama bu değer ortalama farkı farkların standart sapmasına böler ve ön test ile son test arasındaki ilişki güçlendikçe büyür. Bu yüzden gruplar arası bir d ile karşılaştırılmaz ve uygulamanın etkisi diye sunulmaz.
Tabloda grup ve zaman satırları, ortalama ve standart sapma sütunları yer alır; düzeltilmiş ortalamalar ayrı sütunda ya da metinde verilir. İstatistik gösteriminin genel kuralları APA 7’ye göre istatistik raporlama, etki büyüklüğünün yorumu etki büyüklüğü, bulguların hipotez sırasıyla yerleştirilmesi bulgular bölümü nasıl yazılır yazısındadır.
Ön test son test analizinde sık yapılan hatalar nelerdir?
Aşağıdaki hatalar ön test son test verisinin analizinde ve yorumunda ortaya çıkabilir; ilkinde iki grup birbiriyle karşılaştırılmak yerine her grup kendi içinde değerlendirilir.
- Grup içi testleri karşılaştırmak. “Deney grubunda anlamlı, kontrol grubunda anlamsız” bir etki kanıtı değildir: anlamlı ile anlamsız arasındaki fark kendi başına anlamlı olmayabilir (Gelman ve Stern, 2006). Bland ve Altman (2011), iki grupta bu yolun gerçek birinci tür hata oranını %50’ye dek çıkarabildiğini gösterir.
- Ön testteki anlamsız farkı denklik saymak. Rastgele atamalı bir çalışmada başlangıç farkı tanımı gereği şansa bağlıdır; Senn (1994) başlangıç dengesinin anlamlılık testiyle sınanmasını kuramsal olarak sağlam olmayan, pratik değeri bulunmayan ve yanıltabilen bir uygulama sayar. Hazır gruplarda ise anlamsız bir ön test farkı denkliğin kanıtı değildir. Ön test, sonuçla ilişkisi nedeniyle analize katılır, ön testteki p değerine bakılarak değil (Senn, 1994).
- Karışık ANOVA’da ana etkileri yorumlamak. Zamanın ana etkisi iki grubun birlikte değiştiğini, grubun ana etkisi iki ölçümün ortalamasının farklı olduğunu gösterir; uygulamanın etkisine ilişkin soruyu etkileşim yanıtlar.
- İki ölçümlü veride yalnız son testi karşılaştırmak. Ön test eldeyken onu kullanmamak kesinliği boşa harcar: yukarıdaki örnekte yalnız son testin güven aralığı ANCOVA’nınkinin iki katından geniştir.
- Kaybı görmezden gelmek. Son teste katılmayanlar analizden düşer; her grupta kaç kişinin ayrıldığı ve ayrılanların ön test puanları raporlanır.
Eşleştirilmiş t-testinin kendisi bağımlı örneklem t-testi, iki grubun karşılaştırılması bağımsız örneklemler t-testi yazısında ayrıntılı anlatılır.
Sık sorulan sorular
Ön test son test modeli deneysel mi, yarı deneysel mi?
Ön test son test modeli, kontrol grubu varsa ve katılımcılar gruplara rastgele atandıysa deneyseldir; gruplar hazır bulunduysa yarı deneyseldir. Tek grup ön test–son test deseni ise kontrol grubu olmadığı için uygulamanın etkisini göstermez, yalnız değişimi betimler.
Ön test son test verisinde hangi test kullanılır?
Ön test son test verisinde test desene göre seçilir. Tek grupta eşleştirilmiş örneklem t-testi (sıralı sonuçta işaret testi), kontrol gruplu ve rastgele atamalı desende ön testi ortak değişken alan ANCOVA kullanılır; fark puanlarının Welch t-testiyle karşılaştırılması duyarlılık analizidir.
ANCOVA mı, tekrarlı ölçümler ANOVA’sı mı?
İki grup ve iki ölçümde tekrarlı ölçümler (karışık) ANOVA’sının etkileşimi, fark puanı analiziyle aynı sonucu verir (F = t²); rastgele atamalı gruplarda ANCOVA bundan daha kesin bir kestirim verir. Ölçüm ikiden fazlaysa ve zaman içindeki değişimin biçimi soruluyorsa karışık ANOVA ya da karma model gerekir.
Ön testte gruplar farklıysa ne yapılır?
Ön testte gruplar farklıysa fark analizde hesaba katılır, ama ANCOVA ile fark puanı farklı varsayımlara dayandığı için farklı sonuç verebilir. Hangisinin uygun olduğu, grupların neden farklı başladığına bağlıdır; bu varsayım yöntem bölümünde yazılır, iki analiz de raporlanır ve ayrışma tartışılır.
Ön test son test için kaç katılımcı gerekir?
Ön test son test modelinde katılımcı sayısı beklenen etki büyüklüğüne ve analize göre güç analiziyle belirlenir. Ön test ile son test arasındaki ilişki güçlüyse ANCOVA aynı gücü daha az katılımcıyla sağlar; hesabın yolu örneklem büyüklüğü hesaplama yazısındadır.
- #on-test-son-test
- #arastirma-deseni
- #ancova
- #tekrarli-olcumler
- #tez-istatistik-analizi
Bilimsel inceleme
Makine öğrenmesi ve biyoistatistik alanlarında çalışır; sağlık, fen ve sosyal bilimlerde disiplinlerarası araştırmalarda istatistik danışmanlığı yürütür.
Kaynakça
- Bland, J. M., & Altman, D. G. (2011). Comparisons against baseline within randomised groups are often used and can be highly misleading. Trials, 12, Article 264.
- Gelman, A., & Stern, H. (2006). The difference between "significant" and "not significant" is not itself statistically significant. The American Statistician, 60(4), 328–331.
- Huck, S. W., & McLean, R. A. (1975). Using a repeated measures ANOVA to analyze the data from a pretest-posttest design: A potentially confusing task. Psychological Bulletin, 82(4), 511–518.
- Lord, F. M. (1967). A paradox in the interpretation of group comparisons. Psychological Bulletin, 68(5), 304–305.
- Senn, S. (1994). Testing for baseline balance in clinical trials. Statistics in Medicine, 13(17), 1715–1726.
- Senn, S. (2006). Change from baseline and analysis of covariance revisited. Statistics in Medicine, 25(24), 4334–4344.
- Van Breukelen, G. J. P. (2006). ANCOVA versus change from baseline had more power in randomized studies and more bias in nonrandomized studies. Journal of Clinical Epidemiology, 59(9), 920–925.
- Vickers, A. J., & Altman, D. G. (2001). Analysing controlled trials with baseline and follow up measurements. BMJ, 323(7321), 1123–1124.
- West, S. G., Finch, J. F., & Curran, P. J. (1995). Structural equation models with nonnormal variables: Problems and remedies. In R. H. Hoyle (Ed.), Structural equation modeling: Concepts, issues, and applications (pp. 56–75). Sage.
Kendi verinizde görün
Kavramı kendi verinizde görmek isterseniz Basira’yı ücretsiz deneyebilirsiniz. Basira’yı deneyin
Kavramı kendi verinizde görmek isterseniz panelinize dönebilirsiniz. Panele git
İlgili yazılar
Araştırma Yöntemleri
Nitel ve Nicel Araştırma: Farkları ve Seçimi
Nitel ve nicel araştırma farkı: nicel araştırma ölçer ve hipotez sınar, nitel araştırma deneyimi ve anlamı inceler. Karar tablosu, örnek ve sık yapılan hatalar.
Basira ·
Araştırma Yöntemleri
Tarama Modeli Nedir? Türleri, Örnekler ve Analizler
Tarama modeli nedir, nitel mi nicel mi? Betimsel (tekil) ve ilişkisel tarama, her türde kullanılan analizler ve yöntem bölümünde yazımı örnekle.
Basira ·
Araştırma Yöntemleri
Yarı Deneysel Desen Nedir? Türleri ve Analizleri
Yarı deneysel desen nedir, deneysel desenden farkı ne? Türleri, iç geçerlik tehditleri, tasarımı güçlendirme yolları ve her türde kullanılan analizler.
Basira ·