Makine Öğrenmesinde Regresyon: Modeller ve Metrikler

Makine öğrenmesinde regresyon, sürekli bir çıktıyı (bir evin fiyatı, bir teslimatın süresi, bir ürünün haftalık talebi) girdi değişkenlerinden tahmin eden denetimli (gözetimli) öğrenme görevidir. Model, çıktısı bilinen geçmiş verilerden öğrenir ve çıktısı bilinmeyen yeni gözlemler için tahmin üretir. Başarısı, modelin hiç görmediği verideki tahmin hatasıyla ölçülür.

Regresyon, makine öğrenmesinin iki temel denetimli görevinden biridir; öteki, kategorik bir sonucu tahmin eden sınıflandırmadır.

Makine öğrenmesinde regresyon nedir?

Regresyon modeli, girdiler (özellikler) ile sürekli bir çıktı (hedef) arasındaki ilişkiyi veriden öğrenir. Bir evin fiyatını tahmin eden bir model, evin alanını, oda sayısını, yaşını ve konumunu girdi olarak kullanabilir.

İstatistikteki çoklu doğrusal regresyon ile aynı matematiği paylaşabilir, ama amaç farklıdır (James vd., 2021):

	İstatistikte	Makine öğrenmesinde
Ana soru	Hangi değişken çıktıyla ne kadar ilişkili, bu ilişki anlamlı mı?	Yeni bir gözlemin çıktısı ne kadar doğru tahmin edilebilir?
Sınama	Katsayıların anlamlılığı, varsayımlar, R²	Ayrı tutulan verideki tahmin hatası
Model seçimi	Kuram, araştırma sorusu ve bilgi ölçütleri (AIC, BIC)	Doğrulama verisindeki başarı

Tipik uygulamalar: konut ve araç fiyatı tahmini, enerji tüketimi ve talep tahmini, teslimat ya da bekleme süresi tahmini, bir hastanın hastanede kalış süresinin tahmini.

Yaygın regresyon yöntemleri ve algoritmaları

Model ailesi	Örnekler	Ne zaman uygun
Doğrusal modeller	Doğrusal regresyon, ridge, lasso, elastic net	İlişki yaklaşık doğrusal; yorumlanabilirlik önemli
Karar ağaçları ve topluluklar	Rastgele orman, gradyan artırma (XGBoost, LightGBM)	Doğrusal olmayan ilişkiler ve etkileşimler
Komşuluk ve çekirdek yöntemleri	k-en yakın komşu, destek vektör regresyonu	Orta büyüklükte veri, ölçeklenmiş girdiler
Sinir ağları	Çok katmanlı algılayıcı	Çok büyük veri ve karmaşık ilişkiler

Ridge ve lasso, katsayıları küçülterek modelin eğitim verisine aşırı uymasını azaltır (düzenlileştirme); lasso bazı katsayıları sıfıra indirerek değişken seçimi de yapar (Hastie vd., 2009). Ceza girdilerin ölçeğine duyarlı olduğu için girdiler önce standartlaştırılır. Ağaç toplulukları, ilişki doğrusal değilse ya da etkileşim varsa doğrusal modellerden çoğu zaman daha doğru tahmin verebilir, ama tek tek katsayılarla yorumlanamaz.

Aşırı öğrenme, doğrulama ve veri hazırlığı

Bir model eğitim verisini ezberleyebilir: eğitim verisinde hatası çok küçük, yeni veride ise büyük olur. Buna aşırı öğrenme (overfitting) denir. Önlemi, değerlendirmeyi modelin görmediği veriyle yapmaktır:

• Eğitim ve test ayrımı: Verinin bir kısmı (ör. yüzde 20) en başta ayrılır ve yalnızca son değerlendirmede kullanılır.
• Çapraz doğrulama: Eğitim verisi k parçaya bölünür; model k kez, her seferinde bir parça dışarıda bırakılarak kurulur ve dışarıdaki parçada sınanır. Model ve ayar seçimi bu ortalama başarıya göre yapılır.

Veri hazırlığı da bu ayrıma uyar:

• Sızıntı: Ölçekleme, eksik değer doldurma ve değişken seçimi yalnızca eğitim verisinde (çapraz doğrulamada her katın eğitim kısmında) öğrenilir. Test verisi bu adımlara karışırsa başarı olduğundan iyi görünür (Hastie vd., 2009). Tahmin anında bilinmeyecek bir bilgi de girdi olarak kullanılmaz.
• Kategorik girdiler: Kategoriler çoğunlukla her kategori için 0/1 sütunlarına dönüştürülür (one-hot kodlama); sıradan (cezasız) doğrusal regresyonda bir kategori referans olarak dışarıda bırakılır (k − 1 sütun).
• Ölçekleme: Ridge, lasso, k-en yakın komşu, destek vektör regresyonu ve sinir ağları girdilerin ölçeğine duyarlıdır; ağaç modelleri değildir.
• Zaman sıralı veri: Talep ya da fiyat serilerinde test verisi eğitim verisinden sonraki döneme ait olmalıdır. Rastgele bölmek gelecekteki bilgiyi eğitime sızdırır; çapraz doğrulama da zaman sırasını koruyan biçimde yapılır.

Model nasıl değerlendirilir?

Metrik	Ne ölçer	Yorum
MAE (ortalama mutlak hata)	Tahmin hatalarının mutlak değerlerinin ortalaması	Çıktıyla aynı birimde; büyük hatalara ek ağırlık vermez
RMSE (kök ortalama kare hata)	Kare hataların ortalamasının karekökü	Çıktıyla aynı birimde; büyük hataları daha çok cezalandırır
R² (belirleme katsayısı)	Tahminin, çıktının ortalamasına göre hatayı ne kadar azalttığı	1 en iyi; test verisinde 0’ın altına düşebilir

Chai ve Draxler (2014), hatalar normal dağılıma yakınsa RMSE’nin daha uygun olduğunu, ama çoğu zaman ikisinin (ve başka metriklerin) birlikte raporlanması gerektiğini savunur. Her metrik, basit bir taban modelle karşılaştırılarak yorumlanır: eğitim verisinin ortalamasını her gözleme tahmin eden bir model bile bir hata üretir ve iyi bir model bundan belirgin biçimde daha iyi olmalıdır.

Örnek: konut fiyatı tahmini

Bir model, eğitim verisindeki evlerle kuruldu ve hiç görmediği 5 evlik bir test verisinde sınandı. Fiyatlar milyon TL’dir (öğretici veri):

Ev	Gerçek fiyat	Tahmin	Hata (tahmin − gerçek)
1	2.10	2.25	0.15
2	3.40	3.20	−0.20
3	1.85	1.90	0.05
4	4.20	3.90	−0.30
5	2.65	2.80	0.15

Bu test verisinde:

• MAE = (0.15 + 0.20 + 0.05 + 0.30 + 0.15) / 5 = 0.17, yani tahminler ortalama 170 bin TL sapıyor.
• RMSE = √[(0.15² + 0.20² + 0.05² + 0.30² + 0.15²) / 5] = 0.19. Hatalar eşit büyüklükte olsaydı RMSE MAE’ye eşit olurdu; farkı en büyük hata (4. ev) açıyor.
• R² = 0.95; test fiyatlarındaki değişkenliğin büyük kısmı tahminle açıklanıyor.

Karşılaştırma için, eğitim verisinin ortalaması olan 2,70 milyon TL’yi her eve tahmin eden taban model bu evlerde MAE = 0.74, RMSE = 0.87 ve R² = −0.03 verir. Negatif R², taban modelin test verisinin kendi ortalamasından bile kötü tahmin ettiğini gösterir. Beş ev, modeli değerlendirmek için çok azdır; gerçek bir çalışmada test verisi yüzlerce gözlemden oluşur ve sonuç çapraz doğrulamayla desteklenir.

Model doğrusal olsaydı ve evin alanının katsayısı 0,012 çıksaydı, bu şöyle okunurdu: öteki girdiler sabitken alan 1 m² arttığında tahmin edilen fiyat 12 bin TL artar. Girdiler standartlaştırılmışsa katsayı, bir birimlik değil bir standart sapmalık artışta tahminin ne kadar değiştiği olarak okunur. Girdiler ham birimlerindeyse sabit terim, bütün girdilerin sıfır olduğu, gerçekte var olmayan bir evin tahminidir ve tek başına yorumlanmaz; standartlaştırılmış girdilerde ise bütün girdileri ortalamada olan bir evin tahminidir. Bu katsayı bir ilişkiyi gösterir, nedensellik göstermez.

Hangi araçlar kullanılır?

Python’da scikit-learn, XGBoost ve LightGBM; R’da tidymodels ve caret paketleri yaygın kullanılır. Kod yazmadan çalışmak isteyenler için menülü araçlar da vardır.

Basira’da makine öğrenmesinde regresyon

Basira’nın ML Stüdyosu’nda Gözetimli Öğrenme → Regresyon modülü, sürekli bir hedefi doğrusal modellerden ağaç topluluklarına ve sinir ağlarına uzanan bir algoritma yelpazesiyle tahmin eder ve her koşuda modelleri bir ortalama taban modeliyle karşılaştırır. Akıllı Mod verinin yüzde 25’ini test için ayırır; algoritma kümesini ve çapraz doğrulama düzenini (kat ve tekrar sayısı) veri büyüklüğüne göre kendisi seçer ve ayarları otomatik arar. Ölçekleme gibi ön işleme adımları yalnızca eğitim verisinde öğrenilir; çarpık bir hedefe dönüşüm de otomatik seçilebilir. Uzman Mod’da algoritmaları, test oranını ve doğrulama yöntemini kendiniz seçersiniz. Sonuçlarda R², düzeltilmiş R², RMSE ve MAE gibi metrikler raporlanır. ML Stüdyosu giriş yapmayı ve Akademik ya da daha üst bir planı gerektirir.

Sık sorulan sorular

Regresyon ile sınıflandırma arasındaki fark nedir?

Regresyon sürekli bir değer (fiyat, süre) tahmin eder; sınıflandırma bir kategori (evet/hayır, hastalık türü) tahmin eder.

Eğitim verisinde R² çok yüksek, testte düşük çıktı. Neden?

Model büyük olasılıkla aşırı öğrenme yapmıştır. Daha basit bir model, düzenlileştirme ya da daha fazla veri denenir; değerlendirme her zaman test ya da doğrulama verisiyle yapılır.

MAE mi RMSE mi raporlamalıyım?

İkisi de çıktıyla aynı birimdedir. Büyük hatalar özellikle önemliyse RMSE, hataların tipik büyüklüğü önemliyse MAE daha bilgilendiricidir; çoğu zaman ikisi birlikte raporlanır.

Doğrusal regresyon bir makine öğrenmesi yöntemi midir?

Evet. Aynı model, tahmin amacıyla kurulup ayrı tutulan veride değerlendirildiğinde bir makine öğrenmesi modelidir. Fark modelde değil, amaçta ve değerlendirme biçimindedir.