Boyut İndirgeme: PCA, t-SNE, UMAP ve Bileşen Sayısı

Boyut indirgeme, bir veri setindeki çok sayıda değişkeni, bilginin büyük kısmını taşıyan daha az sayıda yeni değişkenle özetleme işidir. Otuz soruluk bir anket iki ya da üç ortak eğilimle, bir otomobilin onlarca teknik özelliği “büyüklük” ve “performans” gibi birkaç boyutla özetlenebilir. Özet; görselleştirmeyi, hesaplamayı ve birbiriyle güçlü ilişkili değişkenlerle çalışmayı kolaylaştırır.

Boyut indirgeme, makine öğrenmesinin gözetimsiz (etiketsiz) öğrenme görevlerindendir; çoğu yöntem bir hedef değişken kullanmaz.

Boyut indirgeme nedir, ne işe yarar?

Değişken sayısını azaltmanın iki yolu vardır:

• Değişken seçimi: Var olan değişkenlerden bir kısmı tutulur, ötekiler atılır. Kalan değişkenler özgün anlamlarını korur.
• Öznitelik çıkarımı: Bütün değişkenlerden yeni, daha az sayıda değişken türetilir. Boyut indirgeme bu ikinci yoldur; temel bileşenler analizinde her yeni değişken, özgün değişkenlerin ağırlıklı toplamıdır.

Boyut indirgemenin başlıca kullanım alanları şunlardır:

• Görselleştirme: Altı ya da altmış değişkenli gözlemleri iki boyutlu bir grafikte göstermek.
• Çoklu bağlantıyı gidermek: Birbiriyle çok yüksek ilişkili değişkenleri birkaç ilişkisiz bileşene dönüştürmek.
• Sıkıştırma ve gürültü azaltma: Görüntü, sinyal ya da gen ifadesi gibi binlerce sütunlu veriyi daha az sütunla saklamak ve işlemek.
• Model öncesi hazırlık: Değişken sayısı gözlem sayısına yaklaştığında modele daha az sayıda girdi vermek.

Son madde için bir uyarı gerekir: en çok varyansı taşıyan bileşen, hedef değişkeni en iyi açıklayan bileşen olmak zorunda değildir. Jolliffe (1982), varyansı küçük bileşenlerin bir regresyonda hedefle en güçlü ilişkiyi taşıyabildiği örnekler gösterir. Bu yüzden boyut indirgemenin tahmine katkısı, ayrı tutulan veride ölçülerek değerlendirilir.

Başlıca boyut indirgeme yöntemleri

Yöntem	Ne yapar	Ne zaman uygun
Temel bileşenler analizi (PCA)	Değişkenlerin doğrusal birleşimleri; her bileşen kalan varyansın en çoğunu taşır	Sürekli değişkenler, doğrusal ilişkiler, sıkıştırma ve özetleme
Faktör analizi	Değişkenlerin ortak varyansını birkaç gizil yapıyla açıklar	Ölçek geliştirme; değişkenlerin ardındaki kavramı aramak
Çekirdek PCA	Doğrusal olmayan bir dönüşümden sonra PCA	Doğrusal olmayan yapılar
t-SNE	Yakın komşulukları koruyan iki ya da üç boyutlu harita (van der Maaten ve Hinton, 2008)	Yalnızca görselleştirme
UMAP	t-SNE’ye benzer komşuluk haritası; büyük veride daha hızlıdır	Çoğunlukla görselleştirme; yeni veriye de uygulanabilir
Çoklu uyum analizi (MCA)	Kategorik değişkenler için PCA’nın karşılığı	Anket ve kategorik veri
Doğrusal ayırma analizi (LDA)	Sınıfları en iyi ayıran doğrultular; sınıf etiketini kullanır	Gözetimli sınıflandırma öncesi

PCA ile açıklayıcı faktör analizi sık karıştırılır. PCA toplam varyansı (değişkenlerin paylaştığı ve her birine özgü kısmı birlikte) analiz eder; bileşenler gözlenen değişkenlerin ağırlıklı toplamlarıdır. Faktör analizi ise yalnızca paylaşılan varyansı, değişkenleri ortaya çıkardığı varsayılan gizil yapılarla açıklayan bir modeldir. Bir ölçeğin kaç boyutlu olduğu sorusu faktör analizinin, birçok değişkeni daha az sütunla saklama sorusu PCA’nın sorusudur.

t-SNE ve UMAP güçlü görselleştirme araçlarıdır ama haritaları kolay yanlış okunur. Wattenberg vd.nin (2016) gösterdiği gibi t-SNE haritasında kümelerin büyüklüğü bir şey söylemez, kümeler arasındaki uzaklık da çoğu zaman güvenilir değildir. Aynı veri farklı perplexity değerleriyle (her noktanın kaç komşuyu dikkate aldığını ayarlayan parametre) farklı görünür; rastgele gürültü bile kümelenmiş gibi görünebilir. Bu yüzden t-SNE çıktısının kümelemeye ya da tahmin modellerine girdi olarak verilmesi önerilmez; kümeler özgün değişkenlerde aranır. Üstelik standart t-SNE yeni bir gözlemi var olan haritaya yerleştiremez. UMAP küresel yapıyı daha iyi koruma iddiasındadır ve yeni veriye uygulanabilir (McInnes vd., 2018), ama uzaklıklarının yorumu için aynı dikkat gerekir.

LDA’nın sınıf etiketini kullanması, onu bir model adımı yapar: çapraz doğrulamada her katın yalnızca eğitim kısmında kurulur. Aynı kural PCA için de geçerlidir. Ortalamalar, standart sapmalar ve bileşenler bütün veride hesaplanıp sonra test verisine uygulanırsa, test verisi modeli dolaylı olarak etkilemiş olur.

PCA nasıl çalışır?

1. Standartlaştırma: Değişkenler z-puanına (ortalaması 0, standart sapması 1) çevrilir. Ölçekler farklıysa (cc, kg, saniye) standartlaştırmadan yapılan PCA, varyansı sayısal olarak büyük olan değişkeni öne çıkarır (Jolliffe ve Cadima, 2016). Standartlaştırılmış verinin kovaryans matrisi korelasyon matrisidir.
2. Özdeğer ve özvektörler: Korelasyon matrisinin özvektörleri bileşenlerin yönünü, özdeğerleri her bileşenin taşıdığı varyansı verir. p değişkenli bir veride özdeğerlerin toplamı p’dir; bir bileşenin açıkladığı varyans oranı özdeğer / p’dir.
3. Katsayılar ve yükler: Bir bileşenin katsayıları (birim uzunluktaki özvektör), bileşen puanı hesaplanırken her z-puanının aldığı ağırlıktır. Yük ise katsayı × √özdeğer’dir ve değişken ile bileşen puanı arasındaki korelasyona eşittir (Jolliffe ve Cadima, 2016). Bir bileşeni yorumlarken yükler daha kolay okunur. Programlar bunları farklı adlarla verir: R’de prcomp ve scikit-learn’de components_ katsayıları; SPSS’in “Component Matrix” tablosu ve R’de psych::principal(..., rotate = "none") ise yükleri gösterir (principal varsayılan olarak varimax ile döndürür).
4. Bileşen puanları: Her gözlemin bir bileşendeki puanı, z-puanlarının katsayılarla çarpılıp toplanmasıdır. Bileşenlerin işareti keyfidir: bir bileşenin bütün katsayılarını −1 ile çarpmak çözümü değiştirmez; programlar işareti farklı kurallarla seçebilir.

Yorumu kolaylaştırmak için tutulan bileşenler döndürülebilir (ör. varimax). Döndürülmüş bileşenler varyansı artık sırayla en çoktan aza taşımaz; bu yazıdaki çözüm döndürülmemiştir.

Sonuç nasıl değerlendirilir: kaç bileşen tutulmalı?

PCA en çok değişken sayısı kadar bileşen üretir (gözlem sayısı n, değişken sayısından az ya da ona eşitse varyansı sıfırdan büyük en çok n − 1 bileşen çıkar). Kaç tanesinin tutulacağı ayrı bir karardır ve tek bir kurala bırakılmaz:

Ölçüt	Kural	Dikkat edilecek nokta
Kaiser ölçütü (Kaiser, 1960)	Özdeğeri 1’den büyük bileşenler	Fazla bileşen tutmaya eğilimlidir (Zwick ve Velicer, 1986)
Yamaç birikinti (scree) grafiği, kısaca yamaç grafiği	Özdeğerlerin düşüşünün düzleştiği “dirsek”ten önceki bileşenler	Dirseğin yeri yoruma açıktır
Birikimli varyans	Ör. varyansın yüzde 80–90’ını açıklayan ilk bileşenler	Eşik alana göre değişir
Paralel analiz (Horn, 1965)	Aynı boyutta rastgele verinin özdeğerlerinden büyük olan bileşenler	Karşılaştırmalı çalışmalarda en isabetli kurallardan biri (Zwick ve Velicer, 1986)

Paralel analiz şu soruyu sorar: aynı sayıda gözlem ve değişkenle, aralarında hiçbir ilişki olmayan rastgele veriler üretseydik, birinci, ikinci, üçüncü özdeğer ne kadar büyük çıkardı? Horn’un (1965) özgün yönteminde rastgele özdeğerlerin ortalaması eşik alınır; yaygın kullanılan ve daha az bileşen öneren biçimde ise rastgele özdeğerlerin 95. yüzdeliği aşılmalıdır (Glorfeld, 1995). Bileşenlere sırayla bakılır ve eşiği aşamayan ilk bileşende durulur. Küçük örneklemde rastgele verinin özdeğerleri de büyük çıktığı için paralel analiz, Kaiser ölçütünden daha az bileşen önerebilir.

PCA’dan önce verinin özetlenmeye uygun olup olmadığına da bakılır. Kaiser–Meyer–Olkin (KMO) ölçütü, değişkenler arasındaki korelasyonların kısmi korelasyonlara göre ne kadar güçlü olduğunu gösterir. Kaiser’in (1974) aslında faktör basitliği indeksi için önerdiği sözel ölçek KMO için de yaygın olarak kullanılır: .90 ve üstü olağanüstü, .80’ler övgüye değer, .70’ler orta, .60’lar vasat, .50’ler kötü, .50’nin altı kabul edilemez. Bartlett küresellik testi, korelasyon matrisinin birim matristen (değişkenlerin ilişkisiz olduğu durumdan) farklı olup olmadığını sınar.

Örnek: otomobil özelliklerinin analizi

Bir otomobil karşılaştırma sitesi, n = 40 modelin altı teknik özelliğini birkaç boyutla özetlemek istiyor: motor hacmi, beygir gücü, ağırlık, uzunluk, genişlik ve 0–100 km/sa hızlanma süresi. Ölçekler çok farklı olduğu için değişkenler önce z-puanına çevrildi ve PCA korelasyon matrisinden yapıldı.

motor_cc	beygir	agirlik_kg	uzunluk_cm	genislik_cm	hizlanma_sn
1730	147	1365	444	182	9.3
1810	151	1540	448	185	10.5
1540	126	1365	463	182	11.1
2370	152	1720	483	180	8.6
1270	105	1415	449	183	10.3
1950	91	1555	445	185	10.8
1820	114	1395	454	177	10.3
2040	133	1730	484	191	11.2
2220	163	1600	473	180	8.9
1680	81	1550	457	187	12.8
1130	108	1045	431	172	11.2
1340	107	1245	402	178	10.8

İlk 12 satır (toplam 40) · Bu örnekteki tüm sayılar NumPy 2.2.6 ve SciPy 1.16.3 ile bağımsız olarak yeniden hesaplanır. Veriyi indirin (CSV)

Veri özetlenmeye uygun: KMO = .77 (orta düzey) ve Bartlett testi anlamlı, χ²(15) = 169.92, p < .001. Bileşenlerin özdeğerleri ve açıkladıkları varyans:

Bileşen	Özdeğer	Açıklanan varyans (%)	Birikimli (%)
PC1	3.54	59.0	59.0
PC2	1.62	27.0	86.0
PC3	0.32	5.3	91.3
PC4	0.21	3.5	94.8
PC5	0.18	2.9	97.7
PC6	0.14	2.3	100.0

Ölçütler iki bileşende buluşuyor: özdeğeri 1’den büyük 2 bileşen var ve paralel analiz de 2 bileşen öneriyor. Özdeğer ikinci bileşenden üçüncüye 1.62’den 0.32’ye düşüyor, sonra yavaşça azalıyor; dirsek üçüncü bileşende, dirsekten önceki iki bileşen tutulur. İlk iki bileşen varyansın yüzde 86’sını açıklıyor; bu yüzde 80 eşiğini geçer, yüzde 90 eşiği ise üç bileşen isterdi.

İlk iki bileşenin katsayıları (işaretler, her bileşende mutlak değeri en büyük katsayı artı olacak biçimde seçildi; bazı programlar aynı bileşeni ters işaretle verir):

Değişken	PC1	PC2
Motor hacmi (cc)	.48	−.04
Beygir gücü	.34	−.56
Ağırlık (kg)	.45	.31
Uzunluk (cm)	.47	.20
Genişlik (cm)	.40	.38
0–100 km/sa hızlanma (sn)	−.27	.64

PC1 bütün boyut ve güç değişkenlerinde artı, hızlanma süresinde eksi katsayılıdır: büyük motorlu, ağır, uzun ve geniş otomobillerde yüksektir; bu otomobiller ortalamada daha kısa sürede de hızlanır (hızlanma süresinin bu bileşendeki yükü −.51). Bu bileşen “genel büyüklük” olarak adlandırılabilir. Motor hacminin bu bileşendeki yükü, üç ondalıklı değerlerle .483 × √3.542 ≈ .91’dir; yani motor hacmi ile PC1 puanı arasındaki korelasyon .91’dir.

PC2 hızlanma süresinde ve gövde ölçülerinde artı, beygir gücünde eksi katsayılıdır. Bu bileşende yüksek puan alan bir otomobil, büyüklüğüne göre güçsüz ve yavaş hızlanandır; düşük puan alan ise gövdesine göre güçlü ve çeviktir. Beygir gücü bu bileşende PC1’dekinden daha belirleyicidir (yükü −.71, PC1’de .64); hızlanma süresinin bu bileşendeki katsayısı .64, yükü ise .64 × √1.62 ≈ .81’dir. İki bileşenin puanları yapı gereği ilişkisizdir ve PC2 varyansın yüzde 27’sini taşır: aynı büyüklükteki iki otomobil performansta belirgin biçimde ayrışabilir.

Böylece altı değişken, varyansın yüzde 86’sını koruyan iki puana indi. Bu iki puan iki boyutlu bir grafikte gösterilebilir ya da bir sonraki modele altı değişken yerine girdi olarak verilebilir. Bileşenlere verilen adlar yorumdur: katsayılar bir örüntüyü gösterir, adı alan bilgisi verir. Kırk modellik bir veri bu yorumları sınamak için azdır; gerçek bir çalışmada çözüm başka bir örneklemde de denenir.

Basira’da boyut indirgeme

Basira’nın ML Stüdyosu’nda Gözetimsiz Öğrenme → Boyut İndirgeme modülü, PCA’dan t-SNE, UMAP, faktör analizi ve kategorik veriler için MCA’ya uzanan bir yöntem yelpazesi sunar. Akıllı Mod’da bir ya da birkaç amaç seçersiniz (Görselleştirme, Veri Sıkıştırma, Örtük Keşif, Kategorik / Karma); modül amaca uygun yöntemleri kendisi çalıştırır. Bu yazıdaki örneği yinelemek için Veri Sıkıştırma kartını seçin ve önceden seçili gelen Görselleştirme kartını kaldırın: Görselleştirme seçiliyken bu örnekte öne çıkan sonuç t-SNE haritası olur ve varyans tablosu gösterilmez.

Değişkenler varsayılan olarak z-puanına çevrilir. Bileşen sayısı Otomatik (Kaiser) seçeneğinde bırakıldığında karar, adına karşın Kaiser ölçütüyle değil, korelasyon matrisinin özdeğerleriyle Horn’un paralel analizine (rastgele özdeğerlerin 95. yüzdeliği) göre verilir. Sonuç sayfasında KMO ve Bartlett ön kontrolleri (KMO üç ondalıkla, bu örnekte 0.775), tutulan bileşenlerin özdeğerini ve açıkladığı varyansı gösteren bir tablo, Özdeğer Analizi bölümünde Kaiser çizgisi ve paralel analiz eşiğiyle birlikte bir yamaç grafiği (bütün bileşenlerin özdeğerleri imleç üzerine gelince görünür), iki boyutlu saçılım grafiği ve biplot yer alır. Arayüzde “Yük Matrisi” adını taşıyan ısı haritasının hücrelerinde katsayılar vardır (ör. motor hacmi için .48); bunları korelasyon olarak okumak için √özdeğer ile çarpın. Ölçeklemeyi ve bileşen sayısını iki modda da değiştirebilirsiniz; Uzman Mod’da ayrıca 14 yöntemden istediklerinizi ve parametrelerini (ör. t-SNE için perplexity) kendiniz seçersiniz. ML Stüdyosu giriş yapmayı ve Akademik ya da daha üst bir planı gerektirir.

Sık sorulan sorular

PCA “en önemli değişkenleri” mi seçer?

Hayır. PCA değişken seçmez; bütün değişkenlerin ağırlıklı birleşimlerini kurar. Bir bileşenin çok varyans taşıması, bir hedef değişkeni iyi açıkladığı anlamına da gelmez.

PCA’dan önce standartlaştırma şart mı?

Değişkenler farklı birimlerle ölçülüyorsa evet. Aynı birimle ölçülen ve büyüklükleri anlamlı olan değişkenlerde (ör. aynı ölçekteki sensör okumaları) kovaryans matrisinden PCA da yapılabilir.

t-SNE grafiğinde ayrı duran gruplar küme midir?

Kendiliğinden değil. t-SNE haritasında grup büyüklükleri yorumlanamaz, gruplar arası uzaklıklar da çoğu zaman güvenilir değildir. Kümeler için kümeleme analizi yapılır ve sonuç özgün değişkenlerde değerlendirilir.

Bir makine öğrenmesi modelinden önce PCA yapmak sızıntıya yol açar mı?

Bileşenler bütün veride hesaplanırsa evet. PCA, model gibi yalnızca eğitim verisinde kurulur ve test verisine yalnızca uygulanır.

Hangi programlarla yapılır?

Python’da scikit-learn (PCA, KernelPCA, TSNE) ve umap-learn; R’de temel prcomp fonksiyonu, psych paketi (paralel analiz için fa.parallel) ve Rtsne paketi yaygındır. SPSS’te Analyze > Dimension Reduction > Factor menüsünde, Extraction düğmesinden “Principal components” yöntemi seçilir.