Basit Doğrusal Regresyon Analizi: Varsayımlar ve Örnek

Basit doğrusal regresyon, sürekli bir bağımlı değişkeni tek bir yordayıcıyla (bağımsız değişkenle) bir doğru üzerinden açıklayan istatistiksel modeldir. Doğru, gözlenen değerlerle tahmin edilen değerler arasındaki farkların kareleri toplamını en küçük yapacak biçimde kestirilir. Sonuç eğim ve güven aralığı ile açıklanan varyans oranı (R²) olarak raporlanır.

Ne zaman kullanılır?

İki amaçla kullanılır: bir yordayıcıdaki farkın bağımlı değişkendeki farkla nasıl ilişkili olduğunu betimlemek ve yordayıcının bilinen bir değeri için bağımlı değişkeni tahmin etmek. Reklam harcaması ile satış, yaş ile kan basıncı ya da çalışma süresi ile sınav puanı arasındaki ilişkiler tipik örneklerdir. Gözlemsel veride regresyon bir ilişkiyi tanımlar; neden-sonuç için deney ya da karıştırıcıları hesaba katan bir desen gerekir (kontrol edilebilen ve edilemeyen değişkenler). Doğru yöntem soruya ve veriye göre seçilir:

Durum	Uygun yöntem
İki sürekli değişken, yalnız ilişkinin gücü soruluyor	Pearson korelasyonu
Tek yordayıcı, sürekli sonuç, doğrusal ilişki	Basit doğrusal regresyon
Birden çok yordayıcı ya da karıştırıcıları hesaba katmak	Çoklu doğrusal regresyon
İkili (evet/hayır) sonuç	Lojistik regresyon
Eğrisel ilişki	Değişken dönüştürme ya da polinom regresyon

Varsayımlar

1. Doğrusallık: Bağımlı değişkenin ortalaması yordayıcıyla doğrusal olarak değişir. Saçılım grafiği ve artıklar–tahmin grafiği bunu gösterir; eğrisel bir örüntü bu varsayımın ihlalidir.
2. Bağımsız gözlemler: Bir gözlemin hatası ötekini etkilemez. Zaman sırasıyla toplanan veride Durbin-Watson istatistiği ardışık artıklar arasındaki ilişkiyi yoklar (Durbin ve Watson, 1950); değer 2’ye yakınsa sorun yoktur.
3. Eşvaryanslılık: Artıkların yayılımı yordayıcının bütün değerlerinde aynıdır. Artıklar–tahmin grafiğinde huni biçimi ihlali gösterir; Breusch-Pagan testi bunu sınar (Breusch ve Pagan, 1979; artıkların normalliğine duyarlılığı azaltılmış sürümü Koenker, 1981).
4. Artıkların normalliği: Katsayıların t-testleri ve güven aralıkları için gerekir; büyük örneklemde ihlale duyarlılık azalır. Normal Q-Q grafiği ve Shapiro-Wilk testiyle denetlenir. Varsayım bağımlı değişkenin değil, artıkların dağılımıyla ilgilidir.

Etkili gözlemler bir varsayım değildir ama sonucu belirleyebilir: Cook uzaklığı (Cook, 1977), bir gözlem çıkarıldığında katsayıların ne kadar değişeceğini ölçer. Uygulamada kaba bir tarama eşiği 4/n’dir; 1’i aşan değerler daha belirgin bir uyarıdır, Cook’un kendi önerisi ise değeri F dağılımıyla karşılaştırmaktır. “Hataların ortalaması sıfırdır” koşulu ayrıca sınanmaz: modelde sabit varsa en küçük kareler artıklarının ortalaması her zaman sıfırdır; hataların x’in her değerinde sıfır ortalamalı olması ise doğrusallık varsayımının kendisidir ve artık grafiğinden izlenir.

Hipotezler

Bu bölümde β₁, kitledeki (bilinmeyen) eğimi gösterir; örnek tablosundaki β ise standartlaştırılmış katsayıdır.

• H₀: Eğim sıfırdır (β₁ = 0); yordayıcı bağımlı değişkeni doğrusal olarak yordamaz.
• H₁: Eğim sıfırdan farklıdır (β₁ ≠ 0).

Basit regresyonda eğimin t-testi, modelin F testi (F = t²) ve Pearson korelasyonunun testi aynı p değerini verir.

Formül ve hesaplama

Model y = b₀ + b₁x + e biçimindedir; e artıktır (gözlenen eksi tahmin edilen değer). En küçük kareler kestirimleri:

Eğimin standart hatası, tahminin standart hatasından (s) hesaplanır; H₀ doğruyken t = b₁ / SH(b₁), n − 2 serbestlik dereceli t dağılımına uyar:

Açıklanan varyans oranı R² = 1 − (artık kareler toplamı / toplam kareler toplamı)‘dır. Basit regresyonda R² Pearson korelasyonunun karesine, standartlaştırılmış eğim (β) ise korelasyonun kendisine eşittir (“açıklanan” istatistiksel bir terimdir; neden-sonuç anlamı taşımaz).

Çözümlü örnek: çalışma süresi ve sınav puanı

Bir dersin 20 öğrencisinden dönem boyunca haftada ortalama kaç saat çalıştıkları bilgisi ve dönem sonu sınav puanları toplanıyor (Pearson korelasyonu yazısındakinden farklı bir ders ve farklı bir veri). Soru, çalışma süresinin sınav puanını ne ölçüde yordadığı. Veri öğretici amaçla hazırlanmıştır; aşağıdan indirip aynı analizi kendiniz yapabilirsiniz.

calisma_saati	sinav_puani
4	50.3
11.7	80.9
7	76.7
11.1	67.6
5.3	56.5
6.3	55.8
4.7	50.6
10.9	67.4
4.4	53
3	55.3
3.7	71.7
2.7	36

İlk 12 satır (toplam 20) · Bu örnekteki tüm sayılar SciPy 1.16.3 ile bağımsız olarak yeniden hesaplanır. Veriyi indirin (CSV)

Model: F(1, 18) = 24.29, p < .001; R² = .57, düzeltilmiş R² = .55.

Yordayıcı	B	SH	%95 GA	β	t	p
Sabit	44.44
Haftalık çalışma (saat)	2.66	0.54	[1.53, 3.80]	.76	4.93	< .001

Varsayım denetimleri: artıkların Shapiro-Wilk testi p = .387 ve Breusch-Pagan (Koenker) testi p = .101; ikisi de ciddi bir ihlal göstermez. Durbin-Watson istatistiği 2.15’tir, ama veri zaman sırasıyla toplanmadığı için bu değer yalnız satırların sırasına bağlıdır; gözlemlerin bağımsızlığı, öğrencilerin birbirinden ayrı ölçülmesiyle desenden gelir. Cook uzaklığı iki öğrencide 4/n = .20 eşiğini aşar: 2,7 saat çalışıp 36,0 puan alan öğrenci (.43) ve 3,7 saat çalışıp 71,7 puan alan öğrenci (.36).

Sonucun yorumu

Haftalık çalışma süresi sınav puanını anlamlı biçimde yordar. Bir saat daha fazla çalışan öğrencilerin puanı ortalama 2.66 puan yüksektir; güven aralığına göre bu farkın 1,5 ile 3,8 puan arasında olması veriyle uyumludur. R² = .57, puanlardaki değişkenliğin yaklaşık yüzde 57’sinin çalışma süresiyle ilişkili olduğunu gösterir.

Veri gözlemseldir: daha çok çalışan öğrenciler önceki başarı ya da motivasyon bakımından da farklı olabilir; bu yüzden eğim, çalışma süresinin puanı ne kadar artırdığının kestirimi olarak okunmaz. Sabit (44.44), hiç çalışmayan bir öğrencinin tahmini puanıdır, ama verideki en düşük çalışma süresi 2,7 saattir; veri aralığının dışına yapılan bu tahmin yorumlanmaz. 4/n eşiğini aşan iki gözlem (ikisinin de değeri 1’in altında) silinmez, incelenir: ikisi birlikte çıkarıldığında eğim 2.61, %95 GA [1.69, 3.53] olur, yani sonuç onlara bağlı değildir.

APA 7’ye göre raporlama

Raporda modelin F testi, R², eğim ve güven aralığı birlikte verilir; varsayım denetimleri ve etkili gözlemler için yapılanlar da yazılır.

Sık yapılan hatalar

Alternatif yöntemler

• Pearson korelasyonu: Yalnız ilişkinin yönü ve gücü soruluyorsa; değişkenler arasında yordayıcı–sonuç ayrımı yapmaz.
• Sağlam standart hatalar (HC3): Eşvaryanslılık ihlal edildiğinde katsayılar aynı kalır, standart hatalar ve p değerleri buna dayanıklı biçimde hesaplanır (Long ve Ervin, 2000).
• Çoklu doğrusal regresyon: Karıştırıcıları ya da ek yordayıcıları modele katmak için.
• Dönüştürme ve polinom regresyon: İlişki eğriselse ya da yayılım değerle birlikte büyüyorsa.
• Sağlam regresyon: Aykırı değerlerin etkisini azaltan kestirim yöntemleri (ör. Huber).

Basira’da basit doğrusal regresyon nasıl yapılır?

1. Yukarıdaki örneğin verisini Veriyi indirin (CSV) bağlantısından indirin; dosya calisma_saati ve sinav_puani sütunlarıyla gelir. Basira’da Veri Setlerim sayfasındaki Yeni Veri Seti Yükle düğmesiyle yükleyin.
2. Analiz Stüdyosu’nda sol menünün Hipotez Testleri grubundaki Regresyon Analizi sayfasından Doğrusal Regresyon’u açın; basit ve çoklu regresyon aynı sayfadadır. Akıllı Mod’u seçin (sağdaki ayar panelinin başlığı Akıllı Asistan Modu olur).
3. Bağımlı Değişken olarak sinav_puani, Ortak Değişkenler (Sürekli) olarak yalnız calisma_saati’ni seçin ve Analizi Başlat’a tıklayın.
4. Sonuçlar sırasıyla gelir: betimsel istatistikler; Regresyon Varsayımları (Shapiro-Wilk, Breusch-Pagan, Durbin-Watson, Cook’s Distance); model uyumu (R, R², düzeltilmiş R², Cohen’s f², RMSE, AIC, BIC); ANOVA tablosu; katsayılar (B, SE, β, sr², t, p, %95 GA; dipnotta SE “SH” olarak açıklanır). Sabit terim tabloda Intercept adıyla görünür. Ardından tahmin–gerçek, artıklar–uydurulan değerler, normal Q-Q ve Cook uzaklığı grafikleri gelir.
5. Akıllı Mod varsayım ihlalinde modeli değiştirmez; ihlalleri uyarı olarak gösterir. Etkili gözlemler Regresyon Varsayımları tablosunda ve Cook uzaklığı grafiğinde görünür; Akıllı Mod Analiz Özeti kutusu Cook uzaklığına bakmaz ve bu örnekte iki etkili gözleme rağmen varsayımların karşılandığını söyler. Manuel Mod’da eşvaryanslılık ihlaline karşı sağlam standart hatalar (HC0–HC4) seçilebilir.

Basira’nın Breusch-Pagan değeri Koenker’in studentize edilmiş biçimidir (R lmtest::bptest varsayılanıyla aynı); klasik biçimi veren programlar farklı bir değer gösterebilir. Durbin-Watson için p değeri verilmez; 1,5–2,5 aralığı pratik bir ölçüt olarak alınır. RMSE, formüldeki s’dir (tahminin standart hatası; paydası n − 2). Yazının sonundaki bant modülü Basira’nın kendi örnek veri setiyle açar; bu yazının verisi için CSV’yi yükleyin.

Sık sorulan sorular

Korelasyon ile basit regresyon arasındaki fark nedir?

Korelasyon iki değişken arasındaki doğrusal ilişkinin gücünü simetrik olarak özetler. Regresyon bir değişkeni ötekiyle yordar ve bir birimlik farkın sonuçtaki karşılığını (eğim) verir. Basit regresyonda R², korelasyonun karesidir.

R² ne kadar olmalı?

Evrensel bir eşik yoktur. Aynı R² bir alanda yüksek, başka bir alanda düşük sayılabilir; düşük bir R² eğimin anlamsız olduğu anlamına da gelmez. Eğim, güven aralığı ve tahminin amacı birlikte değerlendirilir.

Aykırı ya da etkili bir gözlemi silmeli miyim?

Yalnız kayıt ya da ölçüm hatasıysa. Gerçek bir değerse silinmez; sonuç onunla ve onsuz raporlanabilir ya da sağlam bir yöntem kullanılır.

Kaç gözlem gerekir?

Sabit bir sayı yoktur; gereken örneklem, beklenen ilişkinin büyüklüğüne ve istenen güce göre belirlenir. Planlamayı veri toplamadan önce yapın; istatistiksel güç yazısı bunun mantığını anlatır.