Kümeleme Analizi: Yöntemler, Ölçütler ve Örnek

Kümeleme analizi, etiketi olmayan bir veri setinde birbirine benzeyen gözlemleri aynı gruba, benzemeyenleri farklı gruplara ayıran gözetimsiz bir makine öğrenmesi yöntemidir. Sonuçta her gözlem bir kümeye atanır; amaç, küme içindeki gözlemlerin birbirine olabildiğince yakın, kümelerin ise birbirinden olabildiğince uzak olmasıdır.

Kümeleme analizi nedir?

Sınıflandırmada her gözlemin doğru sınıfı eğitim verisinde bilinir; kümelemede bilinmez. Algoritma grupları yalnız gözlemler arasındaki benzerlikten (çoğu zaman bir uzaklıktan) çıkarır. Bu yüzden iki karar sonucu belirler: benzerliğin nasıl ölçüleceği ve kaç küme aranacağı.

Uzaklığa dayalı yöntemlerde değişkenlerin ölçeği önemlidir. Bir değişken liralarla (yüzlerce birim), öteki aylık ziyaret sayısıyla (birkaç birim) ölçülüyorsa, standartlaştırılmamış uzaklığı neredeyse yalnız lira belirler. Bu nedenle değişkenler genellikle önce z-puanına çevrilir.

Tipik kullanım alanları müşteri segmentasyonu, gen ifadesi verisinde benzer genlerin gruplanması, görüntüde benzer renklerin birleştirilmesi (renk nicemleme) ve belgelerin konularına göre gruplanmasıdır. Kümeleme ayrıca boyut indirgeme ile birlikte, keşifçi veri analizinin bir adımı olarak da kullanılır.

Kümeleme yöntemleri ve algoritmaları

Yöntemler kümeyi nasıl tanımladıklarına göre ayrılır: bir merkeze yakınlık, ardışık birleştirme, yoğunluk ya da olasılık dağılımı.

K-ortalamalar (k-means)

Veriyi önceden belirlenen k kümeye ayırır ve her gözlemi kendi küme merkezine olan uzaklıkların karelerinin toplamını (küme içi kareler toplamı) en küçük yapacak biçimde atar (Lloyd, 1982). Hızlıdır ve büyük veride ölçeklenir. Buna karşılık k’nın verilmesi gerekir, sonuç başlangıç merkezlerine bağlıdır (bu yüzden farklı başlangıçlarla birkaç kez çalıştırılır) ve yaklaşık küresel, benzer büyüklükteki kümeleri iyi bulur.

K-medoidler (PAM)

K-ortalamalara benzer, ama küme merkezi olarak ortalama yerine kümenin gerçek bir gözlemini (medoid) kullanır; en yaygın uygulaması PAM’dir (Kaufman ve Rousseeuw, 1990). Aykırı değerlere daha dayanıklıdır ve Öklid dışındaki uzaklıklarla da çalışır.

Hiyerarşik kümeleme

Birleştirici (aglomeratif) yaklaşımda her gözlem önce ayrı bir kümedir ve en yakın iki küme adım adım birleştirilir; bölücü yaklaşım tersinden ilerler. “En yakın iki küme”nin tanımı bağlantı ölçütüdür: tek, tam, ortalama ya da Ward bağlantısı. Birleştirme geçmişi bir ağaç grafiğiyle, dendrogramla gösterilir; dendrogram istenen düzeyden kesilerek küme sayısı seçilir. Tüm gözlem çiftlerinin uzaklığını tuttuğu için çok büyük veride bellek ve süre açısından pahalıdır.

Yoğunluk tabanlı yöntemler: DBSCAN ve OPTICS

DBSCAN, bir noktanın ε yarıçaplı komşuluğunda en az belirli sayıda (minPts) nokta varsa onu yoğun bölgenin parçası sayar; yoğun bölgeler birleşerek kümeleri oluşturur, hiçbir yoğun bölgeye ulaşmayan noktalar gürültü olarak işaretlenir. Küme sayısı verilmez ve küresel olmayan şekiller bulunabilir. Tek bir ε, yoğunluğu farklı kümeleri birlikte yakalamakta zorlanır; OPTICS bu durum için noktaları erişilebilirlik sırasına dizer ve farklı yoğunluklardaki kümeleri tek bir erişilebilirlik grafiğinde gösterir.

Gauss karışım modelleri ve bulanık c-ortalamalar

Gauss karışım modeli (GMM) veriyi birkaç normal dağılımın karışımı olarak modeller ve her gözlemin her kümeye ait olma olasılığını verir (yumuşak kümeleme). Bileşen sayısı Bayesçi bilgi ölçütü (BIC) gibi ölçütlerle seçilebilir. Bulanık c-ortalamalar da her gözleme her küme için bir üyelik derecesi atar, ama olasılık modeli kurmaz.

Ortalama kaydırma ve spektral kümeleme

Ortalama kaydırma (mean shift) her noktayı yoğunluğun en yüksek olduğu bölgeye doğru adım adım taşır; aynı tepeye varan noktalar bir küme olur. Küme sayısı verilmez, ama sonucu belirleyen bant genişliği seçilmelidir. Spektral kümeleme gözlemler arasındaki benzerlik grafiğinin özvektörlerini kullanarak veriyi yeni bir uzaya taşır ve kümelemeyi orada yapar; iç içe halkalar gibi dışbükey olmayan kümeleri ayırabilir.

Kümeleme nasıl değerlendirilir? Ölçütler

Gerçek etiketler bilinmediğinde iç ölçütler kullanılır:

Ölçüt	Neyi ölçer	İyi değer
Siluet katsayısı (Rousseeuw, 1987)	Her gözlemin kendi kümesine, en yakın komşu kümeye göre ne kadar yakın olduğu	−1 ile 1 arası; büyük olan
Calinski–Harabasz (Caliński ve Harabasz, 1974)	Kümeler arası yayılımın küme içi yayılıma oranı	Büyük olan
Davies–Bouldin (Davies ve Bouldin, 1979)	Her kümenin kendisine en benzer kümeyle ortalama benzerliği	Küçük olan

Kaufman ve Rousseeuw (1990), ortalama siluet katsayısı için şu kaba yorumu önerir: .71–1.00 güçlü bir yapı, .51–.70 makul bir yapı, .26–.50 zayıf ve yapay olabilecek bir yapı, .25 ve altı belirgin bir yapı yok.

Gerçek etiketler biliniyorsa (örneğin bir yöntemi sınamak için) dış ölçütler kullanılır. Düzeltilmiş Rand indeksi (ARI) iki bölümlemenin uyumunu, rastlantıyla beklenen uyumu düzelterek ölçer: 1 tam uyumdur, 0 rastlantı düzeyindedir, negatif değerler rastlantıdan da kötü uyumdur (Hubert ve Arabie, 1985).

Küme sayısı nasıl seçilir?

Küme sayısı veriden kendiliğinden çıkmaz. Yaygın üç yol vardır: aday k değerleri için ortalama siluet katsayısını karşılaştırmak; küme içi kareler toplamının k ile nasıl azaldığını çizip azalmanın yavaşladığı “dirseği” aramak; ve boşluk (gap) istatistiği (Tibshirani vd., 2001). Ölçütlerin önerisi, kümelerin yorumlanabilir olup olmadığıyla birlikte değerlendirilir.

Sık karşılaşılan diğer güçlükler şunlardır: değişken sayısı çok arttığında uzaklıkların ayırt ediciliğini yitirmesi (bu durumda önce boyut indirgenir), aykırı değerlerin merkezleri çekmesi (k-medoidler ya da DBSCAN daha dayanıklıdır) ve kümelerin şeklinin yöntemin varsayımına uymaması.

Örnek: müşteri segmentasyonu

Bir e-ticaret sitesi, n = 24 müşterisini aylık ziyaret sayısı ve ortalama sepet tutarına göre gruplamak istiyor. İki değişkenin ölçeği çok farklı olduğu için (birkaç ziyaret, yüzlerce lira) ikisi de önce z-puanına çevrilir; ardından k-ortalamalar farklı başlangıçlarla çalıştırılır.

ziyaret	sepet
2	620
3	540
2	700
4	580
3	660
1	610
2	530
3	690
9	260
10	310
8	280
11	240

İlk 12 satır (toplam 24) · Bu örnekteki tüm sayılar scikit-learn 1.7.2 ile bağımsız olarak yeniden hesaplanır. Veriyi indirin (CSV)

Aynı veri için aday küme sayılarının ortalama siluet katsayıları:

Küme sayısı (k)	Ortalama siluet
2	.70
3	.73
4	.62
5	.53

En yüksek değer k = 3’tedir. Üç kümeli çözümde ortalama siluet katsayısı .73’tür; bu, Kaufman ve Rousseeuw’un (1990) ölçeğinde güçlü bir yapıya karşılık gelir. Kümeler her biri 8 müşteri içerir ve grafikte de ayrıktır: seyrek gelen ama büyük sepet oluşturan müşteriler, orta sıklık ve orta sepet, sık gelen ama küçük sepet oluşturan müşteriler. k = 2 de yüksek bir değer verir (.70); iki küme, orta ve sık gelen grupları birleştirir. Hangi çözümün kullanılacağına, kümelerin pazarlama açısından farklı bir eylem gerektirip gerektirmediğine bakılarak karar verilir: ortalama siluet katsayısı .73, ayrılan grupların iş açısından anlamlı olduğunu söylemez.

Sık sorulan sorular

Kümeleme ile sınıflandırma arasındaki fark nedir?

Sınıflandırmada gözlemlerin sınıfı eğitim verisinde bilinir ve model yeni gözlemin sınıfını tahmin eder (gözetimli öğrenme). Kümelemede sınıf yoktur; gruplar verinin kendisinden çıkarılır (gözetimsiz öğrenme). İki öğrenme türünün genel çerçevesi için makine öğrenmesi ve alt bileşenleri yazımıza bakın.

Hangi yöntemi seçmeliyim?

Kümelerin yaklaşık küresel ve sayıca bilindiği durumlarda k-ortalamalar iyi bir başlangıçtır. Aykırı değer varsa k-medoidler, küme sayısını dendrogramdan seçmek istiyorsanız hiyerarşik kümeleme, düzensiz şekilli kümeler ve gürültü varsa DBSCAN, olasılıklı üyelik gerekiyorsa Gauss karışım modeli uygundur.

Değişkenleri standartlaştırmak zorunlu mu?

Uzaklığa dayalı yöntemlerde ölçekler farklıysa evet; aksi hâlde ölçeği büyük olan değişken sonucu belirler. Değişkenler aynı birimle ölçülüyorsa ve bu birim anlamlıysa standartlaştırma gerekmeyebilir.

Hangi programlarla yapılır?

Python’da scikit-learn (k-ortalamalar, DBSCAN, OPTICS, hiyerarşik, spektral, Gauss karışımı) ve SciPy (hiyerarşik kümeleme ve dendrogram), R’de stats (kmeans, hclust), cluster (pam) ve mclust paketleri yaygındır. SPSS’te k-ortalamalar, hiyerarşik ve iki aşamalı kümeleme prosedürleri vardır.