Test Tekrar Test Güvenirliği Nasıl Hesaplanır?
Basira Editör Ekibi · · 11 dk okuma · Bilimsel inceleme: Doç. Dr. Hasan Yıldırım
Aa Yazı boyutu
Anahtar çıkarımlar
- Test tekrar test güvenirliği, aynı ölçeğin aynı kişilere belli bir aralıkla iki kez uygulanmasıyla puanların zaman içinde ne kadar kararlı kaldığını gösterir; ölçülen özelliğin bu sürede değişmediği varsayılır.
- Katsayı olarak Pearson korelasyonu değil, sınıf içi korelasyon (ICC) kullanılır: Pearson bütün puanların aynı miktarda kaymasını görmez, mutlak uyum ICC'si bu kaymayı hata sayar.
- ICC'nin modeli, türü ve tanımı ile %95 güven aralığı raporlanır; güvenirlik düzeyi nokta kestirimine değil güven aralığına bakılarak yorumlanır.
- Ölçmenin standart hatası (SEM) ve en küçük saptanabilir değişim, bir kişinin iki ölçüm arasındaki farkının ölçme hatasından büyük olup olmadığını puan biriminde söyler.
- Uygulama aralığı için evrensel bir gün sayısı yoktur; aralık, ölçülen özelliğin değişmeyeceği kadar kısa, ilk yanıtların hatırlanmayacağı kadar uzun seçilir ve gerekçesi yazılır.
İçindekiler
Test tekrar test güvenirliği, aynı ölçme aracının aynı kişilere belli bir aralıkla iki kez uygulanmasıyla, puanların zaman içinde ne kadar kararlı kaldığını gösteren güvenirlik türüdür. İki uygulamanın puanları arasındaki uyum, mutlak uyum tanımına göre hesaplanan sınıf içi korelasyon katsayısı (ICC) ve %95 güven aralığıyla verilir; Pearson korelasyonu iki uygulama arasındaki sistematik kaymayı görmediği için yeterli değildir.
Güvenirliğin öteki türleri ve geçerlikle ilişkisi geçerlik ve güvenirlik, iç tutarlılık katsayıları güvenirlik analizi yazısındadır. Bu yazı yalnız zaman içindeki kararlılığı ele alır: hangi katsayının neden seçildiğini, aralığın nasıl belirlendiğini ve sonucun nasıl raporlandığını sentetik bir ölçek verisiyle gösterir.
Test tekrar test güvenirliği nedir?
Test tekrar test güvenirliği (test–retest reliability), ölçme hatasının zaman içindeki dalgalanmadan gelen payına bakar. Aynı kişi aynı ölçeği iki hafta arayla doldurduğunda puanı birkaç puan değişebilir: o gün yorgun olabilir, bir maddeyi ilkinde farklı anlamış olabilir, yanıt verirken acele etmiş olabilir. Ölçülen özellik bu sürede gerçekten değişmediyse, iki puan arasındaki fark ölçme hatasıdır. İki uygulamanın puanları ne kadar uyumluysa ölçek zaman içinde o kadar kararlı ölçer.
Bu tanımın içinde bir varsayım vardır: ölçülen özellik iki uygulama arasında değişmez. Kişilik özellikleri ya da tutumlar gibi görece kalıcı özelliklerde bu varsayım akla yatkındır; anlık duygu durumu ya da ağrı şiddeti gibi doğası gereği dalgalanan özelliklerde ise düşük bir test tekrar test katsayısı ölçeğin kusurunu değil özelliğin değişkenliğini yansıtabilir. Bu yüzden test tekrar test çalışması, ölçülen yapının zaman içinde kararlı olması beklendiğinde anlamlıdır.
İç tutarlılıktan farkı da buradadır. Cronbach alfa ve McDonald omega tek bir uygulamada maddelerin birbiriyle tutarlılığına bakar; zaman içindeki kararlılık hakkında bir şey söylemez.
Dikkat
Maddeleri birbiriyle güçlü ilişkili bir ölçek, iki hafta sonra farklı puanlar üretebilir; tersine, maddeleri farklı yönleri ölçen bir ölçek zaman içinde kararlı olabilir. İki tür güvenirlik farklı hata kaynaklarına baktığı için biri ötekinin yerine geçmez.
Test tekrar test güvenirliği nasıl hesaplanır?
Test tekrar test güvenirliği, iki uygulamanın puanlarından iki yönlü bir varyans analiziyle elde edilen sınıf içi korelasyon katsayısıyla hesaplanır. kişi ve uygulama için kişiler arası ortalama kareler , uygulamalar arası ortalama kareler , hata ortalama kareleri olmak üzere, tek ölçüm için iki katsayı vardır (McGraw ve Wong, 1996):
İlki tutarlılık (consistency), ikincisi mutlak uyum (absolute agreement) tanımlıdır. Tek fark paydadaki son terimdir: mutlak uyum ICC’si, iki uygulamanın ortalamaları arasındaki farkı () da hata sayar.
ICC(A,1) formülü iki yönlü rastgele modelde Shrout ve Fleiss’in (1979) ICC(2,1)‘iyle aynıdır; karma modelde mutlak uyum için de aynı formül kullanılır (McGraw ve Wong, 1996). ICC(C,1) ise Shrout ve Fleiss’in ICC(3,1)‘ine karşılık gelir. Raporda model, tür ve tanım birlikte yazılır. Weir (2005), ICC türleri arasındaki asıl ayrımın sistematik hatanın paydaya katılıp katılmaması olduğunu vurgular.
- Model, tür ve tanım. Koo ve Li (2016), test tekrar test çalışmalarında iki yönlü karma etkiler modelinin kullanılmasını ve mutlak uyum tanımının her zaman seçilmesini önerir; tek ölçüm mü, birden çok ölçümün ortalaması mı kullanılacağı ise ölçeğin uygulamada nasıl kullanılacağına bağlıdır. Bir ölçek normalde bir kez uygulanıp tek puan veriyorsa tek ölçüm ICC’si raporlanır.
- Neden Pearson değil? Pearson korelasyonu yalnız iki puanın birlikte değişip değişmediğine bakar; Koo ve Li (2016) bu yüzden onu güvenirlik için ideal olmayan bir ölçü sayar. İlk ile ikinci uygulama arasında öğrenme, alışma ya da yorgunluk gibi nedenlerle bütün puanlar aynı yönde kayarsa Pearson korelasyonu değişmez; bu kaymayı mutlak uyum ICC’si yakalar. Aşağıdaki örnekteki düşünce deneyi bunu sayılarla gösterir.
- Güven aralığı ve yorum. Koo ve Li (2016), .50’nin altını zayıf, .50 ile .75 arasını orta, .75 ile .90 arasını iyi, .90’ın üstünü çok iyi güvenirlik olarak yorumlamayı önerir ve bu yorumun nokta kestirimine değil %95 güven aralığına dayanmasını ister. Bu aralıklar bir yorum kılavuzudur, her amaç için geçerli bir eşik değildir: bir kişi hakkında karar verilecekse grup karşılaştırmasına göre daha yüksek bir kararlılık gerekir.
İki uygulama arasındaki süre ne olmalı?
İki uygulama arasındaki süre için evrensel bir gün sayısı yoktur. Aralık iki koşulu birlikte sağlamalıdır: ölçülen özelliğin gerçekten değişmeyeceği kadar kısa, katılımcıların ilk yanıtlarını hatırlayıp yinelemeyeceği kadar uzun. Çok kısa aralık hatırlama yoluyla katsayıyı şişirir; çok uzun aralık gerçek değişimi ölçme hatası gibi gösterir.
Polit (2014), test tekrar test çalışmalarında birçok önemli kararın (ör. uygulama aralığı) kanıta dayanmıyor göründüğünü belirtir ve aralığa karar verirken yapının ne kadar kararlı olduğuna ilişkin hasta ya da uzman görüşüne başvurulmasını önerir.
Aralığın kendisinin ne kadar fark yarattığı da sınanmıştır: Marx vd. (2003), dizden yakınan ve durumu kararlı 70 hastayı rastgele iki gruba ayırıp dört diz ölçeğini ve SF-36’nın sekiz boyutunu 2 gün ya da 2 hafta arayla yeniden uygulamış, iki aralık arasında güvenirlik bakımından anlamlı bir fark bulmamıştır. Bu bulgu o ölçekler ve o hasta grubu içindir; başka bir yapı için aralığın gerekçesi yine ayrıca yazılır.
İpucu
Aralıkla birlikte iki uygulamanın koşulları da aynı tutulur: aynı yönerge, aynı ortam (çevrim içi ya da kâğıt), mümkünse günün aynı saati. İki uygulama arasında katılımcıların ölçülen özelliği etkileyebilecek bir uygulamaya katılmaması da gerekir; aksi hâlde ölçülen şey kararlılık değil değişimdir.
Ölçmenin standart hatası ve en küçük saptanabilir değişim nedir?
Ölçmenin standart hatası (SEM), bir kişinin gözlenen puanının gerçek puanından tipik olarak ne kadar sapacağını ölçeğin kendi biriminde gösterir. ICC bir oran olduğu için puanın birimini taşımaz; aynı ICC, puan aralığı geniş bir ölçekte büyük, dar bir ölçekte küçük bir bireysel hataya karşılık gelebilir. Weir (2005), SEM’in ICC’den türetilebileceğini ve tek bir puan için güven aralığı kurmakta ve bir kişinin gerçekten değişip değişmediğine karar vermek için gereken en küçük farkı belirlemekte kullanılabileceğini gösterir. Bu yazıda SEM, ICC’nin hesaplandığı iki yönlü varyans analizinin hata ortalama karelerinden hesaplanır:
Burada , yukarıdaki ICC formüllerindeki hata ortalama kareleridir. SEM, puanların standart sapmasından ve ICC’den de türetilebilir (); bu yol standart sapmanın hangi uygulamadan alındığına bağlıdır ve biraz farklı bir değer verebilir, bu yüzden raporda hangi yolun kullanıldığı yazılır. En küçük saptanabilir değişim (), aynı kişinin iki ölçümü arasındaki farkın %95 olasılıkla ölçme hatasından büyük olması için gereken eşiktir; çarpanı farkın iki ölçümün hatasını birlikte taşımasından gelir. Bir müdahale sonrasında bireysel değişim yorumlanacaksa bu eşik ICC’den daha kullanışlıdır.
Bland ve Altman (1986), iki ölçüm yöntemi arasındaki uyumu farkların ortalaması ve bu ortalamanın 1.96 standart sapma çevresindeki uyum sınırlarıyla değerlendirmeyi önermiştir. Aynı yaklaşım iki uygulama arasındaki farklara da uygulanır: farkların ortalaması sistematik kaymayı, uyum sınırları bireysel farkların tipik genişliğini gösterir.
Örnek: sentetik bir ölçekte test tekrar test analizi
Tablo 1’deki sonuçlar, 400 katılımcılı sentetik (yapay olarak üretilmiş) bir ölçek verisinden R 4.5.1 ile hesaplanmıştır. Ölçek 5’li Likert tipinde 24 maddeden ve her biri 8 maddelik üç alt boyuttan (azim, uyum ve iyimserlik) oluşur; bütün katılımcılar ölçeği iki kez doldurmuştur. Alt boyut puanı 8 maddenin toplamıdır (8–40).
Tablo 1
Sentetik Ölçekte Alt Boyutların Test Tekrar Test Sonuçları (N = 400)
| Alt boyut | 1. uygulama M (SS) | 2. uygulama M (SS) | Pearson r | ICC(A,1) [%95 GA] | Ortalama fark [%95 GA] | SEM | MDC95 |
|---|---|---|---|---|---|---|---|
| Azim | 23.57 (6.58) | 23.80 (6.67) | .93 | .926 [.910, .939] | 0.24 [−0.02, 0.49] | 1.80 | 4.99 |
| Uyum | 23.99 (6.42) | 23.75 (6.13) | .92 | .914 [.897, .929] | −0.24 [−0.50, 0.01] | 1.83 | 5.07 |
| İyimserlik | 23.49 (6.46) | 23.59 (6.47) | .92 | .915 [.898, .930] | 0.10 [−0.16, 0.36] | 1.88 | 5.22 |
Not. ICC(A,1): iki yönlü model, mutlak uyum, tek ölçüm. Ortalama fark = 2. uygulama − 1. uygulama. SEM = iki yönlü varyans analizinin hata ortalama karelerinin karekökü. MDC95 = 1.96 × √2 × SEM.
Gerçek bir çalışmada ikinci uygulama yalnız bir alt örnekleme uygulanabilir ve aralık gün olarak yazılır; bu sentetik veride bütün katılımcılar ölçeği iki kez doldurmuştur ve iki uygulama arasındaki süre tanımlı değildir. Sonuçlar beş adımda okunur.
-
Katsayı ve güven aralığı. Üç alt boyutta ICC(A,1) .914 ile .926 arasındadır; güven aralığının alt sınırı azimde .910, uyumda .897, iyimserlikte .898’dir. Koo ve Li’nin (2016) kılavuzuna göre, azimde aralığın tamamı .90’ın üstünde kaldığı için güvenirlik çok iyi düzeydedir; uyum ve iyimserlikte aralık .90’ı içerdiği için güvenirlik iyi ile çok iyi arasında yorumlanır. Tutarlılık ICC’si (ICC(C,1)) de aynı sonucu verdi (ör. azim için .93): iki uygulama arasında kayma olmadığında iki tanım birbirine yaklaşır.
-
Sistematik kayma. İki uygulamanın ortalamaları arasındaki farklar 0,25 puanın altındadır ve hiçbiri anlamlı değildir: azim t(399) = 1.85, p = .066; uyum t(399) = −1.87, p = .062; iyimserlik t(399) = 0.75, p = .453. Farklar sıralı ölçekte değildir ve çarpıklık ile fazla basıklık değerleri eşiklerin çok altındadır (|G1| < 0.23, |G2| < 0.08); bu yüzden eşleştirilmiş t-testi birincil analizdir, Wilcoxon işaretli sıralar testi duyarlılık satırı olarak raporlanır (p = .106, .047 ve .574). Uyumda iki test ayrışır (Wilcoxon p = .047, t-testi p = .062); bu ayrışma raporda açıkça yazılır ve sonuç birincil teste göre yorumlanır.
-
Bireysel düzeyde hata. Azim alt boyutunda SEM 1,80 puandır; uyum sınırları (Bland ve Altman, 1986) −4,75 ile 5,22 puan arasındadır. Yani bir kişinin ikinci puanı, ölçülen özellik değişmese de ilk puanından yaklaşık 5 puan aşağıda ya da yukarıda olabilir.
En küçük saptanabilir değişim 4,99 puandır: 8–40 aralığındaki bu alt boyutta bir kişinin bir müdahaleden sonra 4 puan ya da daha az değişmesi, ölçme hatasından ayırt edilemez. ICC’nin .93 olması bu bilgiyi vermez; SEM ve MDC95 verir.
-
Pearson neden yetmez? Bir düşünce deneyi farkı gösterir: azim alt boyutunda ikinci uygulamanın bütün puanlarına 3 puan eklenirse Pearson korelasyonu .93’te, tutarlılık ICC’si .93’te kalır; mutlak uyum ICC’si ise .83’e düşer ve güven aralığı, sistematik fark yalnız iki uygulamadan kestirildiği için [.11, .94] kadar genişler. Üç katsayıdan kaymayı yalnız mutlak uyum ICC’si yakalar.
-
Örneklem büyüklüğü. Aynı hesap yalnız ilk 60 katılımcıyla yapıldığında azim için ICC(A,1) = .920, %95 GA [.870, .952] bulundu; 400 katılımcıda aralık [.910, .939] idi. Nokta kestirimi benzer, ama 60 kişinin aralığı (genişlik .082) 400 kişininkinin (.029) iki katından geniştir.
Test tekrar test güvenirliği nasıl raporlanır?
Yöntem bölümünde test tekrar test çalışması için şu bilgiler bulunur: alt örneklemin büyüklüğü ve nasıl seçildiği, iki uygulama arasındaki süre ve gerekçesi, iki uygulamanın koşulları, ICC’nin modeli, türü ve tanımı, kullanılan yazılım. Koo ve Li (2016) yazılımın, modelin, türün ve tanımın raporlanmasını ve ICC’nin %95 güven aralığıyla verilmesini önerir. Yukarıdaki örnek için bir paragraf şöyle yazılabilir:
Tezde nasıl yazılır
“Ölçeğin zaman içindeki kararlılığını incelemek için 400 katılımcı ölçeği iki kez doldurmuştur. Test tekrar test güvenirliği, R 4.5.1 ile iki yönlü karma etkiler modelinde, mutlak uyum tanımlı ve tek ölçüm için sınıf içi korelasyon katsayısıyla (ICC(A,1); McGraw ve Wong, 1996) hesaplanmıştır. Katsayı azim için .926, %95 GA [.910, .939], uyum için .914 [.897, .929], iyimserlik için .915 [.898, .930] bulunmuştur. İki uygulamanın ortalamaları arasında anlamlı bir fark yoktur (ör. azim: t(399) = 1.85, p = .066); uyumda duyarlılık analizi olarak raporlanan Wilcoxon işaretli sıralar testi anlamlı bir fark verdi (p = .047), birincil analiz olan eşleştirilmiş t-testi vermedi (t(399) = −1.87, p = .062). Hata ortalama karelerinden hesaplanan ölçmenin standart hatası 1,80 ile 1,88 puan, en küçük saptanabilir değişim 4,99 ile 5,22 puan arasındadır.”
Birden çok alt boyut varsa her biri için ayrı katsayı verilir; yalnız toplam puanın katsayısı alt boyutlar hakkında bilgi vermez. Tablo biçimi ve istatistik gösterimi APA 7’ye göre istatistik raporlama yazısındadır. Test tekrar test, bir ölçek geliştirme ya da uyarlama çalışmasında yapı ve iç tutarlılık kanıtlarının yanında yer alır; aşamaların sırası ölçek geliştirme aşamaları yazısında anlatılır.
Test tekrar test güvenirliğinde sık yapılan hatalar nelerdir?
Aşağıdaki hatalar test tekrar test çalışmalarında katsayı seçiminde, örneklemde ve raporlamada ortaya çıkabilir.
- Pearson korelasyonunu güvenirlik katsayısı diye raporlamak. Mutlak uyum ICC’si kullanılır.
- ICC’yi modelsiz ve güven aralığısız vermek. “ICC = .85” tek başına hangi katsayının hesaplandığını söylemez; model, tür, tanım ve güven aralığı birlikte yazılır.
- Eşiği nokta kestirimiyle yorumlamak. ICC = .78 ama %95 güven aralığı .60 ile .88 arasındaysa güvenirlik “iyi” diye değil, “orta ile iyi arasında” diye yorumlanır (Koo ve Li, 2016).
- Türdeş bir alt örneklem kullanmak. ICC, kişiler arası farkın toplam varyanstaki payıdır; puanları birbirine çok yakın bir grupta katsayı düşük çıkar. Koo ve Li (2016) düşük ICC’nin kişiler arasındaki değişkenliğin azlığından da kaynaklanabileceğini belirtir ve özellikleri birbirinden farklı en az 30 birimle çalışmayı önerir.
- Aralığın gerekçesini yazmamak. “İki hafta arayla uygulanmıştır” cümlesi yetmez; bu sürenin ölçülen yapı için neden uygun olduğu yazılır (Polit, 2014).
- Kaymayı görmezden gelmek. İki uygulamanın ortalaması anlamlı biçimde farklıysa bu bulgu raporlanır ve nedeni (öğrenme, alışma, gerçek değişim) tartışılır; Weir (2005) sistematik hata saptanırsa ölçüm planının gözden geçirilmesini önerir.
- Kategorik ya da çok az kategorili sıralı yanıtta ICC kullanmak. Kategorik ya da az kategorili sıralı yanıtlarda iki uygulamanın uyumu ağırlıklı ya da ağırlıksız kappa ile değerlendirilir.
Eşleştirilmiş iki ölçümün ortalama farkını sınayan test bağımlı örneklem t-testi yazısında, iki ölçümün desen olarak çözümlenmesi ön test son test modeli yazısında anlatılır. Analizin bütün aşamaları tez istatistik analizi yol haritası yazısındadır.
Sık sorulan sorular
Test tekrar test güvenirliği kaç olmalı?
Test tekrar test güvenirliği için evrensel bir alt sınır yoktur. Koo ve Li’nin (2016) kılavuzunda .75’in üstü iyi, .90’ın üstü çok iyi güvenirlik sayılır ve yorum güven aralığına göre yapılır; bir kişi hakkında karar verilecekse grup karşılaştırmasına göre daha yüksek bir değer beklenir.
Test tekrar test arası kaç gün olmalı?
Test tekrar test arası için sabit bir gün sayısı yoktur. Aralık, ölçülen özelliğin değişmeyeceği kadar kısa ve ilk yanıtların hatırlanmayacağı kadar uzun seçilir; seçimin gerekçesi yapının kararlılığına dayanarak yöntem bölümünde yazılır.
Test tekrar test için kaç katılımcı gerekir?
Test tekrar test için gereken katılımcı sayısı, ICC’nin güven aralığının ne kadar dar olması istendiğine bağlıdır. Koo ve Li (2016) özellikleri birbirinden farklı en az 30 birim önerir; yukarıdaki örnekte 60 kişilik alt örneklemin güven aralığı (.870 ile .952) 400 kişininkinin (.910 ile .939) iki katından genişti, bu yüzden hedeflenen kesinliğe göre daha büyük bir örneklem gerekebilir.
Test tekrar test güvenirliğinde Pearson korelasyonu kullanılabilir mi?
Test tekrar test güvenirliğinde Pearson korelasyonu tek başına kullanılmaz, çünkü iki uygulama arasındaki sistematik kaymayı görmez. Mutlak uyum ICC’si raporlanır; Pearson korelasyonu yalnız ek bilgi olarak verilebilir.
Test tekrar test güvenirliği ile Cronbach alfa arasındaki fark nedir?
Test tekrar test güvenirliği zaman içindeki kararlılığa, Cronbach alfa tek bir uygulamada maddelerin birbiriyle tutarlılığına bakar. İkisi farklı hata kaynaklarını ölçtüğü için biri ötekinin yerine raporlanmaz; ölçeğin kullanımına göre ikisi birlikte verilir.
- #test-tekrar-test
- #guvenirlik-analizi
- #sinif-ici-korelasyon
- #olcek-gelistirme
- #psikometri
Bilimsel inceleme
Makine öğrenmesi ve biyoistatistik alanlarında çalışır; sağlık, fen ve sosyal bilimlerde disiplinlerarası araştırmalarda istatistik danışmanlığı yürütür.
Kaynakça
- Bland, J. M., & Altman, D. G. (1986). Statistical methods for assessing agreement between two methods of clinical measurement. The Lancet, 327(8476), 307–310.
- Koo, T. K., & Li, M. Y. (2016). A guideline of selecting and reporting intraclass correlation coefficients for reliability research. Journal of Chiropractic Medicine, 15(2), 155–163.
- Marx, R. G., Menezes, A., Horovitz, L., Jones, E. C., & Warren, R. F. (2003). A comparison of two time intervals for test-retest reliability of health status instruments. Journal of Clinical Epidemiology, 56(8), 730–735.
- McGraw, K. O., & Wong, S. P. (1996). Forming inferences about some intraclass correlation coefficients. Psychological Methods, 1(1), 30–46.
- Polit, D. F. (2014). Getting serious about test-retest reliability: A critique of retest research and some recommendations. Quality of Life Research, 23(6), 1713–1720.
- Shrout, P. E., & Fleiss, J. L. (1979). Intraclass correlations: Uses in assessing rater reliability. Psychological Bulletin, 86(2), 420–428.
- Weir, J. P. (2005). Quantifying test-retest reliability using the intraclass correlation coefficient and the SEM. Journal of Strength and Conditioning Research, 19(1), 231–240.
Kendi verinizde görün
Psychometric Studio ücretli planlarda açıktır; ücretsiz planda kapalıdır. Planları inceleyin
İlgili yazılar
İstatistiksel Testler
Sınıf İçi Korelasyon (ICC) Nedir? Türleri ve Yorumu
Sınıf içi korelasyon (ICC) puanlayıcılar arası ve test-tekrar test güvenirliğini ölçer. Model, tür ve tanım seçimi, formüller ve eşiklerin sınırları.
Basira ·
Araştırma Yöntemleri
Madde Analizi: Madde-Toplam Korelasyonu ve Ayırt Edicilik
Madde analizi ölçekteki her maddenin işleyişini sınar: düzeltilmiş madde-toplam korelasyonu, madde silinirse alfa, güçlük ve %27 ayırt edicilik.
Basira ·
Araştırma Yöntemleri
Ölçek Geliştirme Aşamaları: Kuramdan Puanlama Yönergesine
Ölçek geliştirme aşamaları: yapının tanımı, madde havuzu, uzman görüşü, ön deneme, madde analizi, AFA, güvenirlik, yeni örneklemde DFA ve puanlama yönergesi.
Basira ·