Makine Öğrenmesinde Sınıflandırma: Algoritmalar ve Ölçütler

Makine öğrenmesinde sınıflandırma, bir gözlemin hangi kategoriye ait olduğunu girdi değişkenlerinden tahmin eden denetimli (gözetimli) öğrenme görevidir: bir müşterinin aboneliğini bırakıp bırakmayacağı, bir e-postanın istenmeyen posta olup olmadığı, bir hastanın bir hastalığı taşıyıp taşımadığı. Model, sınıfı bilinen geçmiş gözlemlerden öğrenir ve sınıfı bilinmeyen yeni gözlemler için tahmin üretir.

Sınıflandırma, makine öğrenmesinin iki temel denetimli görevinden biridir; öteki, sürekli bir çıktıyı tahmin eden regresyondur.

Makine öğrenmesinde sınıflandırma nedir?

Sınıflandırmada hedef değişken kategoriktir:

• İkili sınıflandırma: İki sınıf vardır (ayrılır/kalır, hasta/sağlıklı). İlgilenilen sınıfa “pozitif sınıf” denir.
• Çok sınıflı sınıflandırma: Üç ya da daha fazla sınıf vardır ve her gözlem bunlardan birine aittir (ör. üç ürün türü).
• Çok etiketli sınıflandırma: Bir gözlem aynı anda birden fazla etiket taşıyabilir (ör. bir haberin hem “ekonomi” hem “politika” olması).

Çoğu sınıflandırıcı önce her sınıf için bir olasılık (ya da bir puan) üretir; sınıf, bu olasılık bir eşikle karşılaştırılarak atanır. İkili sınıflandırmada varsayılan eşik genellikle 0,5’tir, ama tek doğru eşik değildir. Eşik düşürüldükçe pozitif tahminlerin sayısı azalmaz: kaçırılan pozitifler azalabilir, yanlış alarmlar artabilir.

Tipik uygulamalar: müşteri kaybı ve kredi temerrüdü tahmini, dolandırıcılık tespiti, istenmeyen posta süzme, tıbbi tanı ve risk sınıflaması, görüntü ve metin sınıflandırma. Müşterileri benzerliklerine göre gruplamak ise sınıflandırma değildir: grupların etiketi önceden bilinmiyorsa bu bir kümeleme analizi problemidir.

Yaygın sınıflandırma algoritmaları

Algoritma	Nasıl karar verir	Ne zaman uygun
Lojistik regresyon	Girdilerin doğrusal birleşimini olasılığa çevirir	Yorumlanabilirlik önemli; ilişki yaklaşık doğrusal
Karar ağacı	Girdilere göre art arda ikiye ayırır	Kolay anlatılan kurallar; tek başına kararsız
Rastgele orman	Birçok ağacın oylaması	Doğrusal olmayan ilişkiler, az ayarla güçlü başlangıç
Gradyan artırma (XGBoost, LightGBM, CatBoost)	Ağaçları önceki hataları düzeltecek biçimde ekler	Tablo verisinde çoğu zaman en isabetli aile
Destek vektör makinesi	Sınıfları en geniş aralıkla ayıran sınır	Orta büyüklükte veri, ölçeklenmiş girdiler
k-en yakın komşu	En yakın k eğitim gözleminin çoğunluğu	Küçük veri, az sayıda girdi
Naive Bayes	Girdileri sınıf içinde bağımsız sayan olasılık modeli	Metin sınıflandırma, çok hızlı taban model
Sinir ağları	Katmanlı doğrusal olmayan dönüşümler	Görüntü, ses, metin; çok büyük veri

Uzaklığa ya da cezaya dayanan modeller (k-en yakın komşu, destek vektör makinesi, düzenlileştirilmiş lojistik regresyon, sinir ağları) girdilerin ölçeğine duyarlıdır; girdiler önce standartlaştırılır. Ağaç tabanlı modeller ölçekten etkilenmez. Hiçbir algoritma her veride en iyisi değildir; adaylar aynı doğrulama düzeninde karşılaştırılır.

Doğrulama, sızıntı ve dengesiz sınıflar

Bir modelin başarısı, görmediği veride ölçülür. Veri en başta eğitim ve test olarak ayrılır; sınıf oranlarının iki tarafta aynı kalması için ayırma katmanlı (tabakalı) yapılır. Model ve ayar seçimi eğitim verisinde çapraz doğrulamayla yapılır (James vd., 2021); test verisi yalnızca en sonda bir kez kullanılır (Hastie vd., 2009).

Değerlendirmeyi en sık bozan hatalardan biri sızıntıdır: tahmin anında meşru olarak bilinemeyecek bilginin, test verisinden ya da gelecekten modele karışması (Kaufman vd., 2012). Ölçekleme, eksik değer doldurma, değişken seçimi ve yeniden örnekleme bütün veride yapılıp sonra bölünürse başarı olduğundan iyi görünür. Bu adımlar her çapraz doğrulama katında yalnızca eğitim kısmında öğrenilir. Tahmin anında bilinmeyecek bir değişken de (ör. müşteri ayrıldıktan sonra kaydedilen bir işlem) girdi olarak kullanılmaz.

Sınıflardan biri seyrekse (ör. müşterilerin yüzde 15’i ayrılıyorsa) üç yaygın yol vardır ve birbirini dışlamaz:

• Sınıf ağırlıkları: Seyrek sınıftaki hatalar eğitimde daha ağır cezalandırılır; veriye dokunulmaz.
• Yeniden örnekleme: Seyrek sınıf çoğaltılır (SMOTE yapay gözlemler üretir) ya da yaygın sınıf azaltılır. Yalnızca eğitim katlarına uygulanır; test verisi asla yeniden örneklenmez.
• Eşik ayarı: Model olduğu gibi kalır, sınıf ataması daha düşük bir eşikle yapılır. Eşik, iki hata türünün maliyetine göre seçilir.

Model nasıl değerlendirilir? Ölçütler

İkili sınıflandırmada bütün ölçütler karmaşıklık matrisinden türer: doğru pozitif (DP), yanlış pozitif (YP), yanlış negatif (YN) ve doğru negatif (DN).

Ölçüt	Tanım	Ne söyler
Doğruluk	(DP + DN) / toplam	Doğru tahminlerin oranı; dengesiz veride tek başına yanıltıcı
Duyarlılık (recall)	DP / (DP + YN)	Gerçek pozitiflerin yakalanan oranı
Kesinlik (precision)	DP / (DP + YP)	Pozitif tahminlerin doğru çıkan oranı
Özgüllük	DN / (DN + YP)	Gerçek negatiflerin doğru tanınan oranı
F1	Kesinlik ile duyarlılığın harmonik ortalaması	Pozitif sınıftaki başarı; doğru negatifleri saymaz
Dengeli doğruluk	Duyarlılık ile özgüllüğün ortalaması	Her sınıfa eşit ağırlık
MCC (Matthews korelasyonu)	Gerçek ve tahmin edilen sınıf arasındaki korelasyon	Dört hücreyi birlikte kullanır; −1 ile 1 arası
ROC AUC	Rastgele bir pozitifin rastgele bir negatiften yüksek puan alma olasılığı (eşitlikler yarım sayılır)	Eşikten bağımsız sıralama başarısı; .5 şans düzeyi
PR AUC (ortalama kesinlik)	Kesinlik–duyarlılık eğrisinin basamaklı özeti (eğri altındaki alana yaklaşır)	Seyrek pozitif sınıfta ROC’tan daha bilgilendirici; şans düzeyi pozitiflerin oranı

Dengesiz veride doğruluk tek başına yanıltıcıdır: pozitiflerin yüzde 15 olduğu bir veride her gözleme “negatif” diyen model yüzde 85 doğruluk alır. Chicco ve Jurman (2020), dört hücrenin hepsini kullandığı için MCC’nin doğruluk ve F1’den daha güvenilir bir özet olduğunu savunur. ROC eğrisi sınıf oranından etkilenmez (Fawcett, 2006); bu yüzden pozitifler seyrekken kesinlikteki düşüşü göstermez ve olduğundan iyi bir izlenim verebilir. Saito ve Rehmsmeier (2015), pozitif sınıf seyrekken kesinlik–duyarlılık eğrisinin ROC eğrisinden daha bilgilendirici olduğunu gösterir. Her ölçüt, basit bir taban modelle karşılaştırılarak yorumlanır.

Örnek: müşteri kaybı tahmini

Bir abonelik şirketi, hangi müşterilerin önümüzdeki ay ayrılacağını tahmin eden bir model kurdu. Model, eğitim verisinde kuruldu ve hiç görmediği 200 müşteri üzerinde sınandı; bu test müşterilerinin 30’u ayrılmış. Her müşteri için modelin verdiği ayrılma olasılığı (olasilik) ve gerçek durum (gercek: 1 = ayrıldı, 0 = kaldı):

gercek	olasilik
0	0.05
0	0.04
1	0.44
0	0.11
0	0.04
0	0.14
0	0.16
0	0.33
1	0.03
1	0.65
0	0.03
0	0.58

İlk 12 satır (toplam 200) · Bu örnekteki tüm sayılar NumPy 2.2.6 ile bağımsız olarak yeniden hesaplanır. Veriyi indirin (CSV)

Herkese “kalacak” diyen çoğunluk sınıfı taban modeli bu veride yüzde 85 doğruluk alır (taban doğruluk .85). Varsayılan 0,5 eşiğinde modelin karmaşıklık matrisi:

	Tahmin: ayrılacak	Tahmin: kalacak
Gerçekte ayrıldı	10	20
Gerçekte kaldı	4	166

Aynı olasılıklar 0,3 eşiğiyle sınıflandırıldığında (olasılığı 0,3 ya da daha yüksek olan müşteri “ayrılacak” sayılır) ölçütler değişir:

Ölçüt	Eşik 0,5	Eşik 0,3
Doğruluk	.88	.85
Dengeli doğruluk	.65	.77
Kesinlik	.71	.50
Duyarlılık	.33	.67
Özgüllük	.98	.88
F1	.45	.57
MCC	.43	.49

0,5 eşiğinde model yüzde 88 doğruluğa ulaşıyor, ama bu tabandaki yüzde 85’in yalnızca biraz üstünde: ayrılan 30 müşterinin üçte birini yakalıyor, üçte ikisini kaçırıyor. Eşik 0,3’e indirildiğinde model ayrılanlardan 20 müşteriyi yakalıyor, buna karşılık kalan müşterilerden 20 müşteriyi de yanlış alarmla işaretliyor. Doğruluk düşerken dengeli doğruluk, F1 ve MCC yükseliyor. Hangi eşiğin seçileceği istatistiğin değil, işin sorusudur: kaçırılan bir müşterinin maliyeti, gereksiz yere teklif gönderilen bir müşterinin maliyetinin kaç katıdır? Bu örnekte iki eşik yalnızca etkiyi göstermek için test verisinde karşılaştırıldı; gerçek bir çalışmada eşik doğrulama verisinde seçilir.

Eşikten bağımsız ölçütler modelin sıralama başarısını özetler: ROC AUC = .85, yani rastgele seçilen ayrılan bir müşteri, rastgele seçilen kalan bir müşteriden yaklaşık yüzde 85 olasılıkla (eşit olasılıklar yarım sayılarak) daha yüksek bir ayrılma olasılığı alıyor. Ortalama kesinlik (PR AUC) = .61; pozitiflerin oranı olan .15’lik şans düzeyinin belirgin biçimde üstünde. İki sayının şans düzeyleri farklıdır (.50 ve .15), bu yüzden doğrudan karşılaştırılmaz: ROC AUC sınıf oranından etkilenmez, ortalama kesinlik ise pozitifler seyrekleştikçe düşer ve seyrek sınıftaki asıl güçlüğü, yani pozitif tahminlerin önemli bir kısmının yanlış alarm olmasını, daha açık gösterir. 200 müşterilik tek bir test verisi kesin bir sonuç için azdır; gerçek bir çalışmada bu ölçütlerin güven aralıkları da raporlanır.

Basira’da makine öğrenmesinde sınıflandırma

Basira’nın ML Stüdyosu’nda Gözetimli Öğrenme → Sınıflandırma modülü, kategorik bir hedefi lojistik regresyondan gradyan artırmaya ve sinir ağlarına uzanan bir algoritma yelpazesiyle tahmin eder ve her koşuda modelleri, sınıf oranlarına göre rastgele tahmin eden bir taban modelle karşılaştırır. Akıllı Mod verinin yüzde 25’ini katmanlı olarak test için ayırır; algoritma kümesini ve katmanlı 5 katlı çapraz doğrulamanın tekrar sayısını veri büyüklüğüne göre kendisi seçer (küçük veride 5–10, orta büyüklükte 3, 5000 gözlemden itibaren 1 tekrar) ve ayarları otomatik arar. Ölçekleme ve yeniden örnekleme gibi adımlar her katın yalnızca eğitim kısmında öğrenilir. Seyrek sınıfın payı yüzde 30’un altındaysa sınıf ağırlıklarını destekleyen algoritmalarda bu ağırlıklar kullanılır; en küçük sınıf en büyüğünün yüzde 15’inden azsa (ikili sınıflandırmada seyrek pay yaklaşık yüzde 13’ün altındaysa) modeller ROC AUC yerine ortalama kesinliğe (PR AUC) göre seçilir. Sonuçlarda test verisindeki ölçütler güven aralıklarıyla, karmaşıklık matrisi, ROC ve kesinlik–duyarlılık eğrileri, SHAP değerleriyle değişken önemi yer alır. İkili sınıflandırmada, en iyi model olasılık üretiyorsa Eşik Ayarı bölümü, varsayılan eşiğin yanında 0,10–0,90 arasındaki eşiklerden test verisinde F1’i ve Youden J’yi en yüksek yapanları gösterir. F1 ya da Youden kartına tıklandığında karmaşıklık matrisi ile duyarlılık, özgüllük, kesinlik ve F1 o eşikte yeniden hesaplanır; bu eşikler test verisinde seçildiği için başarıları ayrı bir veride doğrulanmalıdır. Lider tablosu çapraz doğrulama ortalamalarını Nadeau ve Bengio (2003) düzeltmeli güven aralıklarıyla verir; en iyi iki model arasındaki farka ancak test verisindeki eşleştirilmiş bir test anlamlı derse “anlamlı” denir: birincil ölçüt ROC AUC ise DeLong testi, öteki ölçütlerde iki modelin varsayılan sınıf tahminlerindeki hatalar için McNemar testi. Uzman Mod’da algoritmaları, test oranını, doğrulama yöntemini ve birincil ölçütü kendiniz seçersiniz. ML Stüdyosu giriş yapmayı ve Akademik ya da daha üst bir planı gerektirir.

Sık sorulan sorular

Modelim yüzde 95 doğruluk alıyor. İyi mi?

Önce taban modele bakın: pozitiflerin yüzde 5 olduğu bir veride her gözleme “negatif” diyen model de yüzde 95 alır. Duyarlılık, kesinlik, MCC ve PR AUC’yi birlikte okuyun.

ROC AUC mu, PR AUC mu raporlamalıyım?

İkisi de eşikten bağımsızdır. Pozitif sınıf seyrekse ve asıl ilgi pozitifleri doğru bulmaktaysa PR AUC daha bilgilendiricidir; ROC AUC ise iki sınıfın genel ayrışmasını özetler. Çoğu zaman ikisi birlikte raporlanır.

Eşik her zaman 0,5 mi olmalı?

Hayır. 0,5 yalnızca varsayılandır. Eşik, yanlış negatif ile yanlış pozitifin maliyetine göre doğrulama verisinde seçilir ve test verisinde değerlendirilir.

SMOTE mu, sınıf ağırlıkları mı?

İkisi de seyrek sınıfı güçlendirir. Sınıf ağırlıkları veriyi değiştirmediği için çoğu zaman ilk denenecek yoldur; SMOTE kullanılırsa yalnızca eğitim katlarına uygulanır. Ayrıntı için yeniden örnekleme yöntemleri yazımıza bakın.

Hangi programlarla yapılır?

Python’da scikit-learn, XGBoost, LightGBM ve CatBoost; R’de tidymodels ve caret yaygındır. Kod yazmadan çalışmak isteyenler için menülü araçlar da vardır.