İstatistik ve Veri Analizi Nedir? Tanım, Süreç ve Alanlar

“İstatistik ve veri analizi nedir?” sorusunun kısa yanıtı şudur: istatistik, veriden öğrenmenin ve belirsizliği ölçme, denetleme ve aktarmanın bilimidir (Davidian ve Louis, 2012); veri analizi ise bir soruyu yanıtlamak için veri toplamayı planlama, veriyi düzenleme, özetleme, modelleme ve yorumlama sürecidir. İkisi de değişkenliği anlamak için araştırmada, iş dünyasında ve gündelik kararlarda kullanılır.

İstatistik nedir?

“İstatistik” sözcüğü üç anlamda kullanılır:

• Bir bilim dalı olarak: veri toplamayı planlama, veriyi özetleme ve çözümleme, sonuçları belirsizliklerini ölçerek yorumlama yöntemlerinin bütünü.
• Bir sayı olarak: örneklemden hesaplanan ortalama ya da oran gibi her değer bir istatistiktir; kitledeki karşılığına parametre denir (kitle ve örneklem).
• Derlenmiş kayıtlar olarak: nüfus, işsizlik ya da dış ticaret istatistikleri gibi bir kurumun düzenli olarak yayımladığı sayılar.

Bu yazı ilk anlamı ele alır. Bilim dalı olarak istatistik iki kola ayrılır: betimsel istatistik eldeki veriyi özetler, çıkarımsal istatistik örneklemden kitle hakkında, belirsizliği ölçerek sonuç çıkarır (betimsel ve çıkarımsal istatistik).

Veri analizi nedir?

Tukey (1962) veri analizinin, başka şeylerin yanında, şunları kapsadığını yazar: veriyi çözümleme yordamları, bu yordamların sonuçlarını yorumlama teknikleri, veriyi daha kolay, daha kesin ya da daha doğru çözümlenecek biçimde toplamanın planlanması ve veri çözümlemeye uygulanan (matematiksel) istatistiğin bütün araç ve sonuçları. Veri analizi bu yüzden yalnızca hesap değildir; hesaptan önce planlamayı, sonra yorumlamayı da kapsar.

Süreç çoğu zaman beş adımlı bir döngüyle özetlenir. Döngü MacKay ve Oldford’un Waterloo Üniversitesi’ndeki ders notlarından çıkmıştır (yayımlanmış anlatımı: MacKay ve Oldford, 2000); Wild ve Pfannkuch (1999) onu istatistiksel düşünme çerçevelerinin bir boyutu olarak uyarlamıştır. Adı, adımların İngilizce baş harflerinden gelir: PPDAC (Problem, Plan, Data, Analysis, Conclusion; problem, plan, veri, analiz, sonuç).

Adım	Ne yapılır	Örnek soru
Problem	Soru açıkça tanımlanır	Yeni menü satışları artırır mı?
Plan	Neyin, kimden ve nasıl ölçüleceği belirlenir	Hangi şubeler ve hangi haftalar karşılaştırılacak?
Veri	Veri toplanır, düzenlenir, temizlenir	Eksik ve hatalı kayıtlar nasıl ele alınacak?
Analiz	Veri betimlenir, uygun yöntem uygulanır	Satış farkı ne kadar büyük, ne kadar kesin?
Sonuç	Bulgular soruya göre yorumlanır ve aktarılır	Fark karar için yeterli mi?

Döngünün sonu çoğu zaman yeni bir soruyu başlatır. Veri adımı birçok projede beklenenden uzun sürer ve bir kez yapılıp bitmez; analiz sürerken yeni sorunlar çıktıkça tekrarlanır. Wickham (2014) analizi kolaylaştıran “düzenli veri”yi her değişkenin bir sütun, her gözlemin bir satır ve her gözlem birimi türünün ayrı bir tablo olduğu yapı olarak tanımlar ve veriyi bu yapıya getirmeyi veri temizliğinin bir parçası sayar.

Yukarıdaki iki kol yöntemlerin sınıflamasıdır; analizler ise yanıtlamak istedikleri soruya göre ayrılır. Leek ve Peng (2015) altı tür sayar: betimsel, keşifsel, çıkarımsal, tahmin edici, nedensel ve mekanistik. Bu yazı için öne çıkan dördü şunlardır:

• Betimsel: Ne oldu? Veri tablolarla, grafiklerle ve özet ölçülerle anlatılır.
• Çıkarımsal: Örneklemdeki bulgu kitleye genellenebilir mi, iki grup gerçekten farklı mı? Hipotez testleri ve güven aralıkları kullanılır.
• Tahmin edici: Yeni bir gözlemin sonucu ne olacak? Bu soru çoğu zaman makine öğrenmesi yöntemleriyle yanıtlanır.
• Nedensel: Bir değişiklik sonucu gerçekten değiştirdi mi? Birimlerin gruplara kurayla atandığı deneyler bu soruya en güçlü yanıtı verir; aşağıdaki örnek bu türdendir.

Bu türler birbirinin yerine geçmez; aynı veriyle birden çok türde soru sorulabilir. Veri biliminin iş akışını veri bilimi çalışma süreçleri yazısı anlatır.

Veri nedir?

Veri, ilgilenilen birimlerin (kişi, hayvan, şube, gün) bir özelliğine ilişkin kaydedilmiş değerlerdir: bir öğrencinin sınav puanı, bir şubenin günlük satışı, bir hastanın kan grubu. Birimden birime farklı değer alan özelliğe değişken denir (istatistiksel değişkenler). Verinin nereden ve nasıl elde edildiği, ondan hangi sonuçların çıkarılabileceğini belirler.

Ham veri ve işlenmiş veri

Toplandığı biçimde, henüz düzenlenmemiş veriye ham veri denir. Sıralama, gruplama, hatalı kayıtları düzeltme ya da yeni değişken türetme gibi her işlemden sonra veri işlenmiş olur. Ham veri saklanır: işlemenin her adımı ondan yeniden üretilebilmeli, bir hata fark edildiğinde ona geri dönülebilmelidir.

İstatistiğin özü: değişkenlik

Aynı sınava giren öğrenciler farklı puan alır, aynı ilacı alan hastalar farklı yanıt verir, aynı şubenin satışları günden güne değişir. Wild ve Pfannkuch (1999) değişkenliği fark etmeyi ve hesaba katmayı istatistiksel düşünmenin temel öğelerinden biri sayar.

İstatistik bu değişkenlik karşısında iki soru sorar: değişkenliğin ne kadarı açıklanabilir bir kaynaktan (yöntem, grup, zaman) gelir, ne kadarı eldeki bilgiyle açıklanamaz? İstatistik açıklanamayan değişkenliği rastgele bir süreçmiş gibi modeller (Wild ve Pfannkuch, 1999). Bütün birimler aynı değeri alsaydı istatistiğe gerek kalmazdı. Örneklemden kitleye genellerken de bu değişkenlik yüzünden her sonuç bir belirsizlik payı taşır; istatistik bu payı ölçer.

İstatistik okuryazarlığı ve eleştirel okuma

Gal (2002) istatistik okuryazarlığını, istatistiksel bilgiyi yorumlayıp eleştirel olarak değerlendirebilme ve bu bilgi hakkındaki görüşünü aktarabilme olarak tanımlar; bu beceri yalnız bilgi değil, sorgulayıcı bir tutum da ister. Bir haberdeki ya da rapordaki sayıya şu sorular sorulur:

• Kaç kişi, kimler? Küçük ya da seçilmiş bir örneklem kitleyi temsil etmeyebilir.
• Neye göre? “%50 artış” ancak başlangıç değeri bilinirse anlam taşır; 2’den 3’e çıkış da %50’dir.
• İlişki mi, neden mi? İki değişken arasındaki ilişkiyi ikisini de etkileyen üçüncü bir değişken üretmiş olabilir; etki ters yönde de işleyebilir (kontrol edilebilen ve edilemeyen değişkenler).
• Belirsizlik payı verilmiş mi? Bir anket sonucu güven aralığı (hata payı) olmadan sunulursa, sonucun örneklemeden dolayı ne kadar oynayabileceği görünmez; iki oran arasındaki farkın örnekleme değişkenliğiyle açıklanıp açıklanamayacağı da değerlendirilemez. Hata payı yalnızca örneklemenin belirsizliğini gösterir; yanıt vermeyenlerden doğan yanlılığı göstermez.

İstatistiğin kullanıldığı alanlar

İstatistik, ölçümün ve değişkenliğin olduğu her alanda kullanılır. Birkaç örnek:

Alan	Örnek soru	Tipik yöntem
Sağlık	Yeni tedavi iyileşme süresini kısaltıyor mu?	Rastgele atamalı deney, sağkalım (olaya kadar geçen süre) analizi
Eğitim	Bir ölçek tutarlı ölçüyor mu?	Güvenirlik analizi
Pazarlama	İki e-posta başlığından hangisi daha çok tıklanıyor?	A/B testi (rastgele atamalı deney)
Kalite kontrol	Üretim süreci denetim altında mı?	Kontrol grafikleri
Ekonomi	İşsizlik oranı nasıl değişiyor?	Zaman serisi analizi
Tarım	Hangi gübre verimi artırıyor?	Deney tasarımı, varyans analizi

Örnek: yeni menü satışları artırdı mı?

Altı şubeli bir kafe zinciri yeni bir menüyü üç şubede denemek istiyor. Döngünün adımları şöyle işler:

1. Problem: “Yeni menü günlük satışları artırır mı?” Soru, ölçülecek sonucu (günlük satış tutarı) ve karşılaştırmayı (yeni menülü ve eski menülü şubeler) açıkça adlandırır.
2. Plan: Yeni menünün verileceği üç şube kurayla seçilir; böylece şubeler arasındaki önceden var olan farklar gruplardan birine sistematik olarak yığılmaz. Ama üçe üç gibi küçük gruplarda kura dengeyi garanti etmez; bu yüzden satışlar değişiklikten önceki ve sonraki dörder hafta boyunca altı şubede de kaydedilir ve her şube kendi öncesiyle karşılaştırılır. Eski menüyle devam eden şubeler, mevsim gibi bütün şubeleri etkileyen değişimi gösterir.
3. Veri: Kasa kayıtları birleştirilir, kapalı günler ve iadeler ayıklanır; her satır bir şubenin bir gününü gösterecek biçimde düzenlenir.
4. Analiz: Önce her şubenin günlük satışları grafikle betimlenir. Kura şubelere yapıldığı için analiz birimi de şubedir: her şubenin önce-sonra değişimi tek bir sayıya indirilir ve iki grubun ortalama değişimi karşılaştırılır. Günleri bağımsız gözlem saymak örneklemi yapay olarak büyütür ve belirsizliği olduğundan küçük gösterir.
5. Sonuç: Fark belirsizlik payıyla birlikte raporlanır. Her grupta yalnızca üç şube olduğu için tahmin belirsizdir ve gerçek bir etki bile kolayca kaçırılabilir; anlamlı çıkmayan bir fark “etki yok” diye okunmaz. Sonuç bu dört haftaya aittir; gerekirse daha uzun bir süreyle ya da menüyü şubeler arasında dönem dönem kurayla değiştirerek yeni bir döngü başlar.

Basira’da ilk adım

Bir veri setini incelemeye Basira’da şöyle başlanır: Veri Setlerim sayfasındaki Yeni Veri Seti Yükle düğmesiyle dosyanızı yükleyin, ardından Veri Seti Gezgini’nde her değişkenin dağılımını görüp türünü kontrol edin ve gerekirse düzeltin. Bu, döngünün veri adımına karşılık gelir: analizden önce verinin ne içerdiğini ve doğru tanındığını görmek.

Sık sorulan sorular

İstatistik ile veri analizi aynı şey mi?

Örtüşürler ama aynı değildir. İstatistik, belirsizlik altında veriden sonuç çıkarmanın yöntem ve kuramıdır; veri analizi bu yöntemleri de kullanarak bir soruyu yanıtlama sürecidir. Tukey (1962) veri analizine verinin toplanmasını planlamayı ve sonuçları yorumlamayı da katar.

İstatistik ile veri bilimi arasındaki fark nedir?

Veri bilimi istatistiği programlama, veri yönetimi ve alan bilgisiyle birleştirir. Vurgu da farklılaşabilir: istatistik çoğu zaman belirsizliği ölçülmüş çıkarıma, veri bilimi ise büyük ve dağınık veriyi işleyip tahmin üretmeye ağırlık verir. İki alanda da değişkenliği ve belirsizliği hesaba katmak sonuçların güvenilirliğini belirler.

Bir istatistik sonucunu ne zaman güvenilir saymalıyım?

Önce şu bilgilerin verilip verilmediğine bakın: örneklemin nasıl seçildiği ve büyüklüğü, belirsizlik payı ve sonucun bir ilişki mi yoksa bir neden-sonuç bağı mı olduğu. Bunlar yoksa sonuç değerlendirilemez. Varsa içerikleri sorgulanır: örneklem kitleyi temsil ediyor mu, belirsizlik payı karar için yeterince dar mı, nedensel iddia bir deneye mi dayanıyor (Gal, 2002)?

Öğrenmeye nereden devam etmeliyim?

Öğrenme yolunun sıradaki yazısı veri ve veri kaynakları: verinin nereden geldiği ve birincil ile ikincil veri kaynakları ayrımı.