Veri Temizleme Nasıl Yapılır? Adım Adım Kontrol Listesi

Basira Editör Ekibi · · 12 dk okuma · Bilimsel inceleme: Doç. Dr. Hasan Yıldırım

Aa Yazı boyutu
Yazı boyutu

Anahtar çıkarımlar

  • Veri temizleme, ham verideki hataları ve tutarsızlıkları analizden önce bulup önceden yazılmış kurallarla düzeltme, işaretleme ya da gerekçesiyle olduğu gibi bırakma sürecidir; tarama, tanı ve düzeltme aşamalarından oluşur.
  • Ham dosya hiç değiştirilmez; temizleme bir kopyada, tercihen bir betikle yapılır ve her karar gerekçesiyle kayda geçer.
  • Düzenli veride her değişken bir sütun, her gözlem bir satır, her gözlem birimi türü ayrı bir tablodur (Wickham, 2014).
  • Değişken türü, geçerli aralık ve değişkenler arası tutarlılık kuralları kod kitabına önceden, analiz sonuçlarına bakılmadan yazılır; taramada bulunan yeni bir hata türü kurala tarihiyle eklenir.
  • Yinelenen kayıtlar yalnız birebir eşleşmeyle bulunmaz; hangi kaydın tutulacağı önceden yazılmış bir kuralla seçilir ve çıkarılan kayıt sayısı raporlanır.

İçindekiler

İçindekiler

Veri temizleme, ham veri setindeki hataları, tutarsızlıkları ve yinelenen kayıtları analizden önce bulup önceden yazılmış kurallarla düzeltme, işaretleme ya da gerekçesiyle olduğu gibi bırakma sürecidir. Adımları şunlardır: ham dosya korunur, kod kitabı tamamlanır, veri düzenli biçime getirilir, değişken türü, aralık ve tutarlılık denetlenir, yinelenen kayıtlar ayıklanır ve her karar belgelenir.

Eksik değerlerin ve aykırı değerlerin nasıl ele alınacağı kendi başına geniş konulardır ve ayrı yazılarda anlatılır: eksik veri analizi ve aykırı değer. Bu yazı onları yalnız sıradaki yerleriyle anar ve temizlemenin geri kalan adımlarına odaklanır. Sonda, bir tez verisinde kullanılabilecek bir kontrol listesi vardır.

Veri temizleme nedir, neden önemlidir?

Van den Broeck vd. (2005) veri temizlemeyi üç aşamalı bir süreç olarak tanımlar.

  • Tarama aşamasında şüpheli değerler aranır: olması gerekenden az ya da çok kayıt, beklenen aralığın dışındaki değerler, birbirini tutmayan yanıtlar, garip örüntüler.
  • Tanı aşamasında her şüpheli değer için karar verilir: kayıt hatası mı, gerçek ama uç bir değer mi, yoksa beklentinin yanlış olduğu doğru bir değer mi? Bazı değerler için tanı konamaz.
  • Düzeltme aşamasında hata kaynağından düzeltilir, düzeltilemiyorsa değer eksik sayılır; gerçek değere dokunulmaz.

Süreç tek seferlik değildir. Analiz sırasında beklenmedik bir sonuç görüldüğünde çoğu zaman taramaya geri dönülür. Bu yüzden veri temizleme, veri bilimi sürecinin analizden önce gelen ama analizle iç içe yürüyen adımıdır.

Önemi basittir: analiz ne kadar doğru seçilmiş olursa olsun, girdisi kadar doğrudur. Hatalar çoğu zaman sessizdir. Ziemann, Eren ve El-Osta (2016), varsayılan ayarlarıyla Excel’in bazı gen adlarını tarihe çevirdiğini ve taradıkları önde gelen genomik dergilerinde Excel gen listesi ekleyen makalelerin yaklaşık beşte birinde bu tür bozulmuş adlar bulunduğunu gösterdi. Analiz programı bu tür bir hatayı kendiliğinden haber vermez.

Veri temizleme, veriyi hipoteze uydurmak da değildir. Hangi değerin hatalı sayılacağı, hangi kaydın çıkarılacağı sonuçlara bakarak seçilirse araştırmacı farkında olmadan istediği sonucu üreten kuralı bulabilir. Kurallar bu yüzden veri toplanmadan ya da en geç sonuçlara bakılmadan önce yazılır. Bu sorunun aykırı değerlerdeki biçimi aykırı değer yazısında ayrıntılıdır.

Makine öğrenmesindeki “veri ön işleme” ile ilişkisine de bakmak gerekir. Bir yazım hatasını kaynağına bakarak düzeltmek veriden bir şey öğrenmez. Ortalamayla doldurma ya da ölçekleme gibi veriden hesaplanan işlemler ise modelin değerlendirileceği veriye bakmadan, çapraz doğrulama katlarının içinde yapılır; aksi hâlde veri sızıntısı oluşur.

Düzenli veri nedir? Wickham’ın üç ilkesi

Wickham (2014), analize en kolay giren biçimi “düzenli veri” (tidy data) olarak tanımlar. Üç ilkesi vardır:

  1. Her değişken bir sütundur.
  2. Her gözlem bir satırdır.
  3. Her gözlem birimi türü ayrı bir tablodur.

Wickham’a göre dağınık veri çoğu zaman beş sorundan birini taşır. Aşağıdaki tablo her sorunu bir araştırma örneğiyle verir:

SorunDağınık hâli (örnek)Düzenli hâli
Sütun başlıkları değer taşıyorHer yıl ayrı bir sütun: 2024, 2025Bir yıl sütunu ve bir ölçüm sütunu
Bir sütunda birden çok değişkenTek hücrede “K_34” (cinsiyet ve yaş)Cinsiyet ve yaş ayrı sütunlarda
Değişkenler hem satırda hem sütundaSatırlarda boy ve kilo adları, sütunlarda ölçüm günleriGün, boy ve kilo ayrı sütunlar
Bir tabloda birden çok gözlem birimiÖğrenci satırlarında okulun adresi ve türü tekrar ediyorÖğrenci tablosu ve okul tablosu, ortak okul kodu
Bir gözlem birimi birden çok tablodaHer şubenin verisi ayrı bir dosyadaTek tablo ve bir şube sütunu

Neyin “gözlem” sayılacağı analize bağlıdır. Ön test ve son test puanları iki sütunda durabilir (her satır bir kişi) ya da uzun biçimde yazılabilir (her satır bir kişinin bir ölçümü).

SPSS’in tekrarlı ölçümler prosedürü geniş biçimle çalışır; karma modeller çoğu yazılımda uzun biçim ister. İki biçim arasında dönüşüm kolaydır, yeter ki her hücrede tek bir değer bulunsun. Tekrarlı ölçümlerin analizi tekrarlı ölçümler varyans analizi yazısındadır.

Hesap tablosunda çalışanlar için Broman ve Woo (2018) aynı ilkeyi somut kurallara çevirir: her hücreye tek bir şey yazılır, veri dikdörtgen bir tablo olur, renk ya da vurgu veri yerine kullanılmaz (sarıya boyanmış hücrenin anlamı ayrı bir sütuna yazılır), ham veri dosyasında hesap yapılmaz ve tarihler YYYY-AA-GG biçiminde yazılır.

Veri temizleme adımları nelerdir?

Aşağıdaki sıra çoğu nicel araştırmaya uyar. Her adımın çıktısı bir sonraki adımın girdisidir ve her biri kayda geçer.

AdımNe yapılırKayda geçen
Ham dosyayı koruyun (Adım 1)Özgün dosya salt okunur saklanır, kopyada çalışılırHam dosyanın adı, tarihi, yedeği
Kod kitabını tamamlayın (Adım 2)Her değişkenin adı, türü, kodları, geçerli aralığı yazılırKod kitabı
Düzenli biçime getirin (Adım 3)Satır, sütun ve hücre yapısı düzeltilirDönüştürme adımları
Değişken türlerini denetleyin (Adım 4)Sayı, metin, tarih ve kategori doğru okunmuş mu?Tür düzeltmeleri
Aralık ve geçerli değer (Adım 5)Her değer izin verilen kümede mi?Aralık dışı değerler ve kararlar
Tutarlılık denetimi (Adım 6)Değişkenler birbirini tutuyor mu?Kural ihlalleri ve kararlar
Yinelenen kayıtlar (Adım 7)Aynı birim birden çok kez var mı?Çıkarılan kayıtlar ve kural
Eksik ve aykırı değerler (Adım 8)Önceden yazılan kurallar uygulanırSayılar, yöntem, duyarlılık analizi
Kişisel verileri ayırın (Adım 9)Kimlik bilgileri analiz dosyasından çıkarılırAnahtar dosyanın yeri
Belgeleyin (Adım 10)Temizlenmiş dosya ve betik saklanırTemizleme günlüğü, betik

Adım 1: Ham dosyayı koruyun

Ham veri, toplandığı hâliyle saklanır ve bir daha açılıp değiştirilmez (Wilson vd., 2017). Anket aracından indirilen dosya, kâğıt formların girildiği ilk dosya ya da cihazdan alınan kayıt bu kapsamdadır. Dosya en az iki ayrı yerde yedeklenir. Temizleme her zaman bir kopyada yapılır; böylece bir karardan dönmek gerektiğinde başlangıç noktası kaybolmaz.

Adım 2: Kod kitabını tamamlayın

Kod kitabı, veri dosyasındaki her sütunun ne anlama geldiğini anlatan belgedir: değişken adı, açıklaması, değer kodları, ölçüm birimi, ölçek düzeyi ve eksik değer kodu. Nasıl hazırlanacağı anket nasıl hazırlanır ve tez istatistik analizi yol haritası yazılarında anlatılır.

Temizleme için kod kitabına üç şey daha eklenir: her değişkenin geçerli aralığı ya da geçerli kodları, değişkenler arası tutarlılık kuralları ve yinelenen kayıt kuralı. Bu kurallar önceden, analiz sonuçlarına bakılmadan yazılınca denetim mekanik bir işe dönüşür; taramada çıkan yeni bir hata türü tarihiyle eklenir.

Ellis ve Leek (2018), bir veri setini başkasına teslim ederken dört şeyin birlikte verilmesini önerir: ham veri, düzenli veri, her değişkeni ve değerlerini anlatan kod kitabı ve ham veriden düzenli veriye götüren adımların açık tarifi. Tez verisi için de aynı paket iyi bir hedeftir; danışman ya da jüri aynı sonuca aynı yoldan ulaşabilmelidir.

Adım 3: Veriyi düzenli biçime getirin

Yukarıdaki beş sorun burada giderilir: birleşik hücreler ayrılır, başlık satırlarındaki değerler sütuna dönüştürülür, ayrı dosyalar tek tabloda birleştirilir. Değişken adları kısa, boşluksuz ve tutarlı seçilir (yas, kaygi_t1, kaygi_t2); bir sütunun adı içeriğini söylemelidir. Birden çok dosya birleştiriliyorsa ortak bir kimlik sütunu kullanılır ve birleştirmeden önce ve sonra satır sayıları karşılaştırılır.

Adım 4: Değişken türlerini denetleyin

Her sütunun programda doğru türde okunup okunmadığına bakılır. En sık sorunlar şunlardır:

  • Metin olarak okunan sayılar. Tek bir hücrede “yok”, ”?” ya da “12,5 (tahmini)” gibi bir not bütün sütunu metne çevirir. Türkçe bölge ayarlı Excel’den kaydedilen CSV dosyalarında ondalık ayırıcı çoğunlukla virgül, alan ayırıcı noktalı virgüldür; R’de read.csv2(), pandas’ta sep=";" ve decimal="," bu dosyayı doğru okur.
  • Kendiliğinden dönüştürülen değerler. Hesap tablosu programları bazı metinleri tarihe çevirebilir (Ziemann vd., 2016) ve “0012” gibi kimliklerin baştaki sıfırlarını silebilir. Kimlik ve kod sütunları metin olarak tanımlanır.
  • Sayıyla kodlanmış kategoriler. 1 = Ankara, 2 = İzmir gibi kodlanmış bir değişken sayısal görünür, ama ortalaması anlamsızdır. Programda kategorik (faktör, nominal) olarak tanımlanır.
  • Yanlış tanımlanmış ölçek düzeyi. Değişkenin sıralı mı, aralıklı mı olduğu kod kitabında yazılı olmalı ve programda aynı biçimde tanımlanmalıdır; test seçimi buna dayanır. Sıralı bir bağımlı değişkende parametrik olmayan test birincil olur; tek örneklemde ve bağımlı örneklemlerde bu, işaret testidir (parametrik ve parametrik olmayan testler).
  • Karakter kodlaması. “ş”, “ğ”, “ı” bozuk görünüyorsa dosya UTF-8 yerine Windows-1254 ile kaydedilmiş olabilir; okuma komutunda kodlama belirtilir.

Değişken türlerinin kendisi (nicel ve nitel, kesikli ve sürekli) istatistiksel değişkenler ve türleri, ölçek düzeyleri istatistiksel ölçekler yazısında anlatılır. R’de str(), pandas’ta df.dtypes her sütunun okunduğu türü gösterir; ilk okumanın ayrıntısı R ile istatistik analizi yazısındadır.

Adım 5: Aralık ve geçerli değerleri denetleyin

Her sayısal değişkenin en küçük ve en büyük değerine, her kategorik değişkenin bütün değerlerinin sıklığına bakılır. Kod kitabındaki geçerli aralığın dışında kalan değerler iki gruba ayrılır.

Olanaksız değerler gerçek gözlem olamaz: 1–5 arasında puanlanan bir maddede 7, 250 yaş, eksi bir süre. Şüpheli değerler olanaklıdır ama beklenmedik ölçüdedir: haftada 70 saat ders çalıştığını yazan bir öğrenci. Olanaksız değer kaynağından düzeltilir ya da eksik sayılır; şüpheli değer kaynağıyla karşılaştırılır ve doğruysa tutulur.

Kategorik değişkenlerde en etkili araç frekans tablosudur: “Diğer” altında toplanması gereken yanıtlar, kod kitabında olmayan bir kod ya da yalnız bir kez görülen bir yazım hemen görünür. Grafiklerle yapılan ilk inceleme Python ile keşifsel veri analizi yazısında adım adım gösterilir.

Adım 6: Tutarlılık denetimini yapın

Tek tek geçerli görünen değerler birlikte çelişebilir. Tutarlılık kuralları değişkenler arası mantıktan çıkar:

  • Doğum tarihi veri toplama tarihinden sonra olamaz; izlem ölçümünün tarihi ilk ölçümden önce olamaz.
  • Atlama yönergesi: “Çocuğunuz var mı?” sorusuna “Hayır” diyen birinin çocuk sayısı boş olmalıdır; yönergeye uymayan yanıtlar işaretlenir.
  • Toplam puan alt ölçeklerin toplamıysa, alt ölçek puanlarının toplamı ölçeğin toplam puanıyla tutmalıdır; ters maddelerin çevrilip çevrilmediği de burada denetlenir (ters madde kodlama).
  • Aynı kategori tek bir yazımla geçmelidir: “İstanbul”, “istanbul”, “Istanbul” ve sonunda boşluk taşıyan “İstanbul ” dört ayrı grup sayılır.

Son madde Türkçe veride ayrı bir dikkat ister. Programlar büyük-küçük harf dönüşümünde Türkçe kurala uymayabilir: Python’da “IŞIK” küçük harfe “işik” olarak, “İZMİR” ise noktalı bir “i” karakteri taşıyan yedi karakterlik bir dizeye dönüşür. Kategorileri birleştirmeden önce boşlukları kırpmak ve dönüşümü Türkçe kurala göre yapmak ya da yazımları bir eşleme tablosuyla tek tek birleştirmek gerekir.

Adım 7: Yinelenen kayıtları bulun

Yinelenen kayıt, aynı birimin veri setinde birden çok kez yer almasıdır. Üç biçimi vardır.

  • Birebir kopyalar aynı dosyanın iki kez birleştirilmesinden ya da formun iki kez gönderilmesinden doğar; R’de ve pandas’ta duplicated() bunları bulur.
  • Aynı kimlik, farklı içerik çoğu zaman bir kimlik numarasının yanlış yazıldığını gösterir; iki kaydın hangisinin doğru olduğu kaynaktan denetlenir.
  • Yakın kopyalar aynı kişinin farklı yazımlarla girilmiş kayıtlarıdır ve birebir eşleşmeyle bulunmaz. Elmagarmid, Ipeirotis ve Verykios (2007) bu sorunu inceleyen yöntemleri, yazım farklarını ölçen benzerlik ölçülerinden olasılıklı kayıt eşleştirmeye kadar derler.

Hangi kaydın tutulacağı önceden bir kurala bağlanır: ör. “aynı katılımcının ilk tamamlanmış yanıtı tutulur”. Kimlik bilgisi toplamayan anonim bir ankette yinelenen kayıt ancak birebir aynı yanıt örüntüsü ve gönderim zamanıyla tahmin edilebilir; böyle bir karar kesin değildir ve öyle raporlanır. Çıkarılan kayıtların sayısı ve kuralı yöntem bölümüne girer.

Adım 8: Eksik ve aykırı değerleri ele alın

Bu adım ayrı yazıların konusudur; burada yalnız sırası önemlidir. Önce eksik değer kodları (ör. 99) programda eksik olarak tanımlanır; aksi hâlde bu sayılar ortalamaya girer. Aralık denetiminde hata olarak belirlenen değerler eksik sayılınca eksik verinin miktarı değişir, bu yüzden eksik veri incelemesi aralık ve tutarlılık denetiminden sonra yapılır. Mekanizmalar ve yöntemler eksik veri analizi, tespit kuralları ve silme kararı aykırı değer yazısındadır.

Adım 9: Kişisel verileri analiz dosyasından ayırın

Kişiyi tanıtan bilgiler (ad, kimlik numarası, e-posta, adres) analiz dosyasından çıkarılır ve her katılımcıya bir numara verilir. Numarayla kimliği eşleştiren anahtar dosya, analiz dosyasından ayrı ve erişimi sınırlı bir yerde tutulur.

Türkiye’de kişisel verilerin işlenmesi 6698 sayılı Kişisel Verilerin Korunması Kanunu’na (KVKK) tabidir.

Dikkat

Kimlik bilgileri çıkarılmış ya da kodlanmış veri, başka verilerle eşleştirilerek kişiye bağlanabiliyorsa hâlâ kişisel veridir; adı silmek tek başına anonimleştirme değildir (KVKK md. 3).

Bu bir hukuki tavsiye değildir; ayrıntılar veri ve veri kaynakları ile etik kurul başvurusu yazılarındadır.

Adım 10: Her kararı belgeleyin ve yeniden üretilebilir kılın

Temizlemenin her adımı ya bir betikle (R, Python, SPSS sözdizimi) ya da yazılı bir günlükle kayda geçer. Sandve vd.‘nin (2013) yeniden üretilebilir hesaplamalı araştırma için önerdiği on kuralın ilk ikisi buraya uyar: her sonucun nasıl üretildiği izlenmeli ve veriye elle müdahaleden kaçınılmalıdır. Hesap tablosunda elle yapılan bir düzeltme iz bırakmaz; betikteki bir satır ise hem ne yapıldığını hem de neden yapıldığını (yorum satırıyla) söyler. Wilson vd. (2017) de verinin işlendiği bütün adımların kaydedilmesini önerir.

Betik bir sürüm denetim sistemiyle (ör. Git) ya da en azından tarihli kopyalarla saklanır. Böylece altı ay sonra jüri “bu katılımcılar neden çıkarıldı?” diye sorduğunda yanıt bir dosyada hazırdır.

Örnek: bir anket dosyasının temizleme günlüğü

Aşağıdaki günlük varsayımsal bir çalışmaya aittir. Bir araştırmacı, üç fakültedeki lisans öğrencilerine çevrim içi bir sınav kaygısı ölçeği uygulamış; dosyayı anket aracından indirip temizliyor. Günlük, kod kitabındaki kurallara göre her bulguyu, kararı ve gerekçesini yazıyor.

BulguKararGerekçe ve kaynak
İki satır bütün sütunlarda birebir aynıİkinci satır çıkarıldıForm iki kez gönderilmiş; kod kitabındaki kural: ilk tamamlanmış yanıt tutulur
Fakülte sütununda “Eğitim”, “eğitim” ve “Eğitim Fak.”Tek yazımda birleştirildiEşleme tablosu betikte; frekans tablosu önce ve sonra kaydedildi
Yaş sütunu metin okunduHücredeki “20 yaşında” 20’ye çevrildiDeğer açık; sütun sayıya çevrildi
Bir maddede 1–5 dışında bir yanıt (7)Değer eksik sayıldıOlanaksız değer; çevrim içi formda kaynağı yok
Bir katılımcı lisansüstü öğrencisiAnaliz dışı bırakıldıDahil etme ölçütü önceden yazılmış: yalnız lisans
Ters maddeler çevrilmemişTers kodlama betikte yapıldıMadde-toplam korelasyonları çevirmeden önce negatifti

Günlükteki her satır yöntem bölümünde tek bir cümleye dönüşebilir: kaç kayıt hangi nedenle çıkarıldı, hangi değerler eksik sayıldı, hangi kurallar uygulandı. Bu bilgilerin bölümdeki yeri tez yöntem bölümü yazısında anlatılır. Temizlenmiş veriyle yapılan analizin seçimi ise doğru istatistiksel test seçimi yazısının konusudur.

Veri temizleme kontrol listesi

Analize geçmeden önce aşağıdaki maddelerin hepsi işaretlenebilmelidir:

  • Ham dosya değiştirilmeden ve en az iki yerde saklanıyor.
  • Kod kitabında her değişkenin türü, kodları, geçerli aralığı ve eksik değer kodu yazılı.
  • Tutarlılık ve yinelenen kayıt kuralları analiz sonuçlarına bakmadan yazılmış; sonradan eklenenler tarihli.
  • Her değişken bir sütun, her gözlem bir satır, her hücrede tek değer var.
  • Her sütun programda doğru türde okunuyor; kimlik ve kod sütunları metin, kategoriler faktör.
  • Her sayısal değişkenin en küçük ve en büyük değeri, her kategorik değişkenin frekans tablosu incelendi.
  • Tutarlılık kurallarının ihlalleri kaynağıyla karşılaştırıldı.
  • Yinelenen kayıtlar arandı; çıkarılanların sayısı ve kuralı kayıtlı.
  • Eksik değer kodları programda eksik olarak tanımlı; eksik ve aykırı değer kararları gerekçeli.
  • Kimlik bilgileri analiz dosyasında yok; anahtar dosya ayrı yerde.
  • Temizleme betiği ya da günlüğü ham dosyadan temiz dosyaya kadar her adımı içeriyor.

Sık yapılan hatalar

Aşağıdaki hataların her biri sonucu sessizce bozabilir ya da bozulduğunun anlaşılmasını engelleyebilir.

  • Ham dosyada çalışmak. Bir düzeltmenin yanlış olduğu anlaşıldığında geri dönülecek yer kalmaz.
  • Hesap tablosunda iz bırakmadan düzeltmek. Hücreyi elle değiştirmek ya da renkle işaretlemek, kararı yalnız düzeltmeyi yapanın belleğine bırakır.
  • Kuralları sonuçlara bakarak seçmek. Hangi kaydın çıkarılacağı analizden sonra belirlenirse sonuç verinin değil araştırmacının beklentisinin ürünü olabilir.
  • Şüpheli değeri olanaksız değer gibi silmek. Gerçek ama uç bir değer silinince değişkenlik küçülür ve sonuç olduğundan kesin görünür.
  • Birleştirmeden sonra satır sayısına bakmamak. İki dosyayı kimlik numarasıyla birleştirirken eşleşmeyen ya da birden çok kez eşleşen kayıtlar sessizce kaybolabilir ya da çoğalabilir.
  • Temizlemeyi raporlamamak. Okur kaç kaydın neden çıkarıldığını bilemezse sonucun genellenebilirliğini değerlendiremez.

Sık sorulan sorular

Veri temizleme ile veri ön işleme aynı şey mi?

Örtüşürler ama aynı değildir. Veri temizleme hataları ve tutarsızlıkları bulup düzeltir. Veri ön işleme daha geniştir: değişken türetme, ölçekleme, kategorileri yeniden kodlama gibi analize hazırlık işlemlerini de kapsar. Makine öğrenmesinde veriden hesaplanan ön işlem adımları çapraz doğrulama katlarının içinde yapılır.

Veri temizleme hangi programda yapılır?

Herhangi bir istatistik programında yapılabilir; önemli olan adımların kayda geçmesidir. R ve Python betikleri ya da SPSS sözdizimi her adımı yeniden çalıştırılabilir biçimde saklar. Hesap tablosu programında çalışılıyorsa her düzeltme ayrı bir günlüğe yazılır. Programların karşılaştırması ücretsiz istatistik programları yazısındadır.

Hatalı olduğundan emin olmadığım bir değeri ne yapmalıyım?

Değeri değiştirmeden tutun ve işaretleyin. Van den Broeck vd. (2005) bazı şüpheli değerler için tanı konamayacağını kabul eder; böyle bir değer için analiz değerle ve değer eksik sayılarak iki kez yapılabilir. İki sonuç aynıysa bu yazılır; farklıysa ikisi de raporlanır.

Normallik ve varyans denetimleri temizlemeden önce mi sonra mı yapılır?

Sonra. Tek bir kayıt hatası dağılımın çarpıklığını ve basıklığını büyütebilir; bu yüzden dağılım hatalar ayıklandıktan sonra incelenir. Shapiro-Wilk ve Levene sonuçları raporlanır, ama testi belirlemez; seçimin nasıl yapıldığı doğru istatistiksel test seçimi yazısındadır.

Temizleme sırasında çıkardığım katılımcıları raporlamalı mıyım?

Evet. Toplanan kayıt sayısı, çıkarılan kayıtların sayısı ve her birinin nedeni (yinelenen kayıt, dahil etme ölçütü, olanaksız yanıt örüntüsü) ve analize giren son örneklem büyüklüğü yöntem ya da bulgular bölümünde yazılır.

  • #veri-temizligi
  • #tez-istatistik-analizi
  • #anket-hazirlama
  • #istatistiksel-degiskenler

Bilimsel inceleme

Doç. Dr. Hasan Yıldırım

Karamanoğlu Mehmetbey Üniversitesi Öğretim Üyesi

İnceleme tarihi:

Makine öğrenmesi ve biyoistatistik alanlarında çalışır; sağlık, fen ve sosyal bilimlerde disiplinlerarası araştırmalarda istatistik danışmanlığı yürütür.

Kaynakça

  1. Broman, K. W., & Woo, K. H. (2018). Data organization in spreadsheets. The American Statistician, 72(1), 2–10.
  2. Ellis, S. E., & Leek, J. T. (2018). How to share data for collaboration. The American Statistician, 72(1), 53–57.
  3. Elmagarmid, A. K., Ipeirotis, P. G., & Verykios, V. S. (2007). Duplicate record detection: A survey. IEEE Transactions on Knowledge and Data Engineering, 19(1), 1–16.
  4. Sandve, G. K., Nekrutenko, A., Taylor, J., & Hovig, E. (2013). Ten simple rules for reproducible computational research. PLoS Computational Biology, 9(10), Article e1003285.
  5. Van den Broeck, J., Argeseanu Cunningham, S., Eeckels, R., & Herbst, K. (2005). Data cleaning: Detecting, diagnosing, and editing data abnormalities. PLoS Medicine, 2(10), Article e267.
  6. Wickham, H. (2014). Tidy data. Journal of Statistical Software, 59(10), 1–23.
  7. Wilson, G., Bryan, J., Cranston, K., Kitzes, J., Nederbragt, L., & Teal, T. K. (2017). Good enough practices in scientific computing. PLoS Computational Biology, 13(6), Article e1005510.
  8. Ziemann, M., Eren, Y., & El-Osta, A. (2016). Gene name errors are widespread in the scientific literature. Genome Biology, 17, Article 177.

Kendi verinizde görün

Kavramı kendi verinizde görmek isterseniz Veri Keşfi ve Betimsel İstatistik modülünü örnek veriyle açabilirsiniz. Basira’yı deneyin

İlgili yazılar