Veri Bilimi Süreci: Adımlar, CRISP-DM ve Örnek Proje

Veri bilimi süreci, bir soruyu veriyle yanıtlamak için izlenen adımlardır: problemi tanımlamak, veriyi toplamak ve temizlemek, keşifsel analiz yapmak, model kurmak, modeli değerlendirmek ve sonuçları karar verenlere iletmek. Süreç döngüseldir; bir adımda öğrenilen şey çoğu zaman önceki adıma dönmeyi gerektirir.

Veri bilimi süreci nedir?

Veri bilimi; istatistik, programlama ve uygulama alanı bilgisini birleştirerek veriden bilgi üreten bir alandır; alanın istatistikle ilişkisi için bkz. Donoho (2017). Süreç ise bu işin sırasıdır. Bir analizin güvenilirliği yalnızca seçilen modele değil, sorunun doğru sorulmasına, verinin nasıl toplandığına ve temizleme kararlarına da bağlıdır. Bu yüzden süreç adımlarının her biri kayıt altına alınır.

Tipik adımlar:

Problemi tanımlama
Veri toplama
Veri temizleme ve ön işleme
Keşifsel veri analizi
Modelleme
Değerlendirme
Sonuçların yorumlanması ve iletilmesi

1. Problemi tanımlama

Çözülecek soru, ölçülebilir bir hedefe çevrilir. “Müşteri memnuniyetini artırmak” bir hedef değil, bir dilektir; “abonelerden hangilerinin önümüzdeki üç ayda aboneliğini iptal edeceğini tahmin etmek” ölçülebilir bir sorudur. Bu adımda başarı ölçütü de belirlenir: hangi doğruluk düzeyi işe yarar, hangi hata daha pahalıdır? Soru açıklayıcı mı (bir etkenin etkisi ne?) yoksa tahmin edici mi (kim iptal edecek?), bu da burada netleşir; iki soru farklı yöntemler gerektirir.

2. Veri toplama

Veri; kurumun kendi veritabanlarından, anketlerden, deneylerden, sensörlerden ya da açık veri kaynaklarından gelir. Bu adımda verinin kimi temsil ettiği sorulur: veri hedef kitleyi kapsıyor mu, yoksa yalnızca ulaşılması kolay bir kısmını mı (kitle ve örneklem)? Kişisel veri kullanılıyorsa izin ve gizlilik koşulları (Türkiye’de KVKK) da bu aşamada karşılanır.

3. Veri temizleme ve ön işleme

Ham veri çoğu zaman eksik, tutarsız ya da hatalıdır. Bu adımda:

Eksik değerlerin neden eksik olduğu incelenir; satırlar çıkarılır ya da değerler uygun bir yöntemle doldurulur.
Aykırı değerlerin ölçüm hatası mı, gerçek ama uç bir gözlem mi olduğu ayırt edilir.
Yazım farklılıkları birleştirilir (“İşletme” ve “isletme” aynı kategori olur), tarih ve birimler tek biçime getirilir.
Değişken türleri düzeltilir (nicel ve nitel değişkenler) ve gerekirse yeni değişkenler türetilir.

Veri, her satırın bir gözlem, her sütunun bir değişken olduğu “düzenli” (tidy) biçime getirildiğinde analizi çok kolaylaşır (Wickham, 2014). Her temizleme kararı yazılı olarak ya da kodla kaydedilir; aksi hâlde aynı sonuca yeniden ulaşmak mümkün olmaz.

4. Keşifsel veri analizi

Keşifsel veri analizi, model kurmadan önce veriyi tanıma adımıdır (Tukey, 1977). Frekans dağılımları, histogramlar, kutu grafikleri, merkezi eğilim ölçüleri ve değişkenler arası ilişkiler incelenir. Amaç dağılımları, aykırı değerleri ve beklenmedik örüntüleri görmek, hipotezler üretmek ve modellemenin varsayımlarını denetlemektir. Aynı veriyle hem keşif yapıp hem kesin bir hipotezi sınamak yanıltıcı olabilir; keşifte doğan hipotezler mümkünse yeni bir veriyle doğrulanır.

5. Modelleme

Soru açıklayıcıysa genellikle yorumlanabilir istatistiksel modeller (regresyon, varyans analizi) kullanılır. Soru tahmin ediciyse makine öğrenmesi yöntemleri (karar ağaçları, rastgele orman, gradyan artırma) öne çıkar. Basit bir modelle başlamak, daha karmaşık modellerin ne kadar kazanç sağladığını görmeyi mümkün kılar.

6. Değerlendirme

Tahmin modeli eğitimde görmediği veride değerlendirilir: veri eğitim ve test kümelerine ayrılır, ayar seçimi çapraz doğrulamayla yapılır. Açıklayıcı modelde ise varsayımlar (normallik, doğrusallık, çoklu bağlantı) denetlenir. Her iki durumda da sonuç, birinci adımda belirlenen başarı ölçütüne göre yorumlanır: istatistiksel olarak iyi bir model iş açısından yetersiz olabilir.

7. Sonuçların yorumlanması ve iletilmesi

Bulgular, karar verecek kişinin anlayacağı dille ve uygun grafiklerle sunulur. Belirsizlik (güven aralığı, tahmin hatası) ve sınırlılıklar açıkça yazılır; ilişki ile nedensellik birbirine karıştırılmaz. Model kullanıma alınacaksa zamanla başarısının izlenmesi planlanır, çünkü veri değiştikçe model eskir.

Standart süreç modelleri

Bilimsel araştırma süreci

Akademik çalışmalarda süreç bilimsel araştırma sürecini izler: alanyazın taraması, araştırma sorusu ve hipotezler, desen ve örneklem planı, veri toplama, analiz, yorum ve yayın. Buradaki fark, hipotezin ve analiz planının veriden önce belirlenmesidir.

SEMMA

SAS Institute’un önerdiği SEMMA, adını beş adımdan alır: Sample (örneklem seçme), Explore (keşfetme), Modify (dönüştürme), Model (modelleme) ve Assess (değerlendirme). Veri hazırlama ve modelleme adımlarına odaklanır; işin anlaşılması ve modelin kullanıma alınması adımlarını içermez.

CRISP-DM

CRISP-DM (Cross-Industry Standard Process for Data Mining), sektörden bağımsız olarak en yaygın kullanılan süreç modelidir (Wirth ve Hipp, 2000). Altı aşaması vardır:

Aşama	Ne yapılır?
İşin anlaşılması	Hedefler, başarı ölçütü ve kısıtlar belirlenir
Verinin anlaşılması	Veri toplanır, ilk keşif yapılır, kalite sorunları görülür
Verinin hazırlanması	Temizleme, birleştirme, dönüştürme ve değişken türetme
Modelleme	Yöntemler seçilir ve modeller kurulur
Değerlendirme	Modelin iş hedefini karşılayıp karşılamadığı değerlendirilir
Kullanıma alma	Model ya da sonuçlar karar sürecine yerleştirilir ve izlenir

Aşamalar arasında geri dönüşler olağandır; örneğin modelleme sırasında görülen bir veri sorunu verinin hazırlanmasına geri götürür.

Örnek: abonelik iptallerini tahmin etmek

Bir dijital yayın platformu, aboneliğini iptal etmesi olası kullanıcıları önceden bulup onlara indirim önermek istiyor (varsayımsal örnek).

Adım	Bu projede
Problem	Önümüzdeki üç ayda iptal edecek aboneleri tahmin etmek; başarı ölçütü, iptal edeceklerin en az yarısını yakalamak
Veri	Son iki yılın abone kayıtları: üyelik süresi, aylık izleme saati, destek talebi sayısı, ödeme yöntemi, iptal edip etmediği
Temizleme	Test hesapları çıkarılır, eksik izleme saatleri incelenir, ödeme yöntemi yazımları birleştirilir
Keşif	İptal edenlerin izleme saatinin son aylarda düştüğü ve destek talebinin arttığı görülür
Modelleme	Önce lojistik regresyon, sonra rastgele orman kurulur
Değerlendirme	Son altı ayın verisi test kümesi olarak ayrılır; iki model duyarlılık ve kesinlikle karşılaştırılır
İletişim	Pazarlama ekibine en riskli abonelerin listesi ve iptal riskini artıran etkenler sunulur; model her ay izlenir

Bu örnekte test kümesinin rastgele değil zamana göre (son altı ay) ayrılması önemlidir: model gerçekte de geçmişten geleceği tahmin edecektir. Üç aylık sonucun gözlenebilmesi için test penceresi verinin bitişinden üç ay önce kapanır; daha yeni abonelerin sonucu henüz bilinmez.

Basira ile veri bilimi süreci

Basira bu adımların bir kısmını kod yazmadan yapmayı sağlar. Veri setini yükledikten sonra değişken listesinde türleri, eksik değerleri ve dağılımları görebilir, Analiz Stüdyosu’nda betimsel istatistik ve istatistiksel testlerle açıklayıcı soruları yanıtlayabilirsiniz. Tahmin soruları için ML Stüdyosu’nda Veri Hazırlığı bölümünde eksik değer doldurma, aykırı değer işleme, ölçekleme ve kategorik değişken kodlama adımları tanımlanır; ardından Gözetimli Öğrenme altında sınıflandırma ya da regresyon modelleri kurulup karşılaştırılır.

Sık sorulan sorular

Veri bilimi ile istatistik arasındaki fark nedir?

İstatistik, veriden çıkarım yapmanın yöntemlerini geliştiren bilim dalıdır. Veri bilimi, istatistiği programlama, veri yönetimi ve uygulama alanı bilgisiyle birleştiren daha geniş bir uğraştır. İkisi büyük ölçüde örtüşür.

Bir veri bilimi projesinde en çok zaman hangi adıma gider?

Çoğu projede veri toplama ve temizleme. Bu adımlar görünmez kalsa da sonuçların doğruluğunu en çok onlar belirler.

Her projede bütün adımlar gerekli mi?

Adımların derinliği projeye göre değişir, ama hiçbiri tümüyle atlanmaz. Örneğin tek seferlik bir analizde kullanıma alma adımı yalnızca raporun teslimidir.

Tez çalışmasında hangi süreç izlenmeli?

Tezler bilimsel araştırma sürecini izler: hipotez ve analiz planı veriden önce yazılır. Keşifsel analiz ve makine öğrenmesi de kullanılabilir, ama raporda hangi analizlerin önceden planlandığı, hangilerinin keşif amaçlı olduğu ayrı ayrı belirtilir.