Veri Temizleme Nasıl Yapılır? Adım Adım Kontrol Listesi
Basira Editör Ekibi · · 12 dk okuma · Bilimsel inceleme: Doç. Dr. Hasan Yıldırım
Aa Yazı boyutu
Anahtar çıkarımlar
- Veri temizleme, ham verideki hataları ve tutarsızlıkları analizden önce bulup önceden yazılmış kurallarla düzeltme, işaretleme ya da gerekçesiyle olduğu gibi bırakma sürecidir; tarama, tanı ve düzeltme aşamalarından oluşur.
- Ham dosya hiç değiştirilmez; temizleme bir kopyada, tercihen bir betikle yapılır ve her karar gerekçesiyle kayda geçer.
- Düzenli veride her değişken bir sütun, her gözlem bir satır, her gözlem birimi türü ayrı bir tablodur (Wickham, 2014).
- Değişken türü, geçerli aralık ve değişkenler arası tutarlılık kuralları kod kitabına önceden, analiz sonuçlarına bakılmadan yazılır; taramada bulunan yeni bir hata türü kurala tarihiyle eklenir.
- Yinelenen kayıtlar yalnız birebir eşleşmeyle bulunmaz; hangi kaydın tutulacağı önceden yazılmış bir kuralla seçilir ve çıkarılan kayıt sayısı raporlanır.
İçindekiler
Veri temizleme, ham veri setindeki hataları, tutarsızlıkları ve yinelenen kayıtları analizden önce bulup önceden yazılmış kurallarla düzeltme, işaretleme ya da gerekçesiyle olduğu gibi bırakma sürecidir. Adımları şunlardır: ham dosya korunur, kod kitabı tamamlanır, veri düzenli biçime getirilir, değişken türü, aralık ve tutarlılık denetlenir, yinelenen kayıtlar ayıklanır ve her karar belgelenir.
Eksik değerlerin ve aykırı değerlerin nasıl ele alınacağı kendi başına geniş konulardır ve ayrı yazılarda anlatılır: eksik veri analizi ve aykırı değer. Bu yazı onları yalnız sıradaki yerleriyle anar ve temizlemenin geri kalan adımlarına odaklanır. Sonda, bir tez verisinde kullanılabilecek bir kontrol listesi vardır.
Veri temizleme nedir, neden önemlidir?
Van den Broeck vd. (2005) veri temizlemeyi üç aşamalı bir süreç olarak tanımlar.
- Tarama aşamasında şüpheli değerler aranır: olması gerekenden az ya da çok kayıt, beklenen aralığın dışındaki değerler, birbirini tutmayan yanıtlar, garip örüntüler.
- Tanı aşamasında her şüpheli değer için karar verilir: kayıt hatası mı, gerçek ama uç bir değer mi, yoksa beklentinin yanlış olduğu doğru bir değer mi? Bazı değerler için tanı konamaz.
- Düzeltme aşamasında hata kaynağından düzeltilir, düzeltilemiyorsa değer eksik sayılır; gerçek değere dokunulmaz.
Süreç tek seferlik değildir. Analiz sırasında beklenmedik bir sonuç görüldüğünde çoğu zaman taramaya geri dönülür. Bu yüzden veri temizleme, veri bilimi sürecinin analizden önce gelen ama analizle iç içe yürüyen adımıdır.
Önemi basittir: analiz ne kadar doğru seçilmiş olursa olsun, girdisi kadar doğrudur. Hatalar çoğu zaman sessizdir. Ziemann, Eren ve El-Osta (2016), varsayılan ayarlarıyla Excel’in bazı gen adlarını tarihe çevirdiğini ve taradıkları önde gelen genomik dergilerinde Excel gen listesi ekleyen makalelerin yaklaşık beşte birinde bu tür bozulmuş adlar bulunduğunu gösterdi. Analiz programı bu tür bir hatayı kendiliğinden haber vermez.
Veri temizleme, veriyi hipoteze uydurmak da değildir. Hangi değerin hatalı sayılacağı, hangi kaydın çıkarılacağı sonuçlara bakarak seçilirse araştırmacı farkında olmadan istediği sonucu üreten kuralı bulabilir. Kurallar bu yüzden veri toplanmadan ya da en geç sonuçlara bakılmadan önce yazılır. Bu sorunun aykırı değerlerdeki biçimi aykırı değer yazısında ayrıntılıdır.
Makine öğrenmesindeki “veri ön işleme” ile ilişkisine de bakmak gerekir. Bir yazım hatasını kaynağına bakarak düzeltmek veriden bir şey öğrenmez. Ortalamayla doldurma ya da ölçekleme gibi veriden hesaplanan işlemler ise modelin değerlendirileceği veriye bakmadan, çapraz doğrulama katlarının içinde yapılır; aksi hâlde veri sızıntısı oluşur.
Düzenli veri nedir? Wickham’ın üç ilkesi
Wickham (2014), analize en kolay giren biçimi “düzenli veri” (tidy data) olarak tanımlar. Üç ilkesi vardır:
- Her değişken bir sütundur.
- Her gözlem bir satırdır.
- Her gözlem birimi türü ayrı bir tablodur.
Wickham’a göre dağınık veri çoğu zaman beş sorundan birini taşır. Aşağıdaki tablo her sorunu bir araştırma örneğiyle verir:
| Sorun | Dağınık hâli (örnek) | Düzenli hâli |
|---|---|---|
| Sütun başlıkları değer taşıyor | Her yıl ayrı bir sütun: 2024, 2025 | Bir yıl sütunu ve bir ölçüm sütunu |
| Bir sütunda birden çok değişken | Tek hücrede “K_34” (cinsiyet ve yaş) | Cinsiyet ve yaş ayrı sütunlarda |
| Değişkenler hem satırda hem sütunda | Satırlarda boy ve kilo adları, sütunlarda ölçüm günleri | Gün, boy ve kilo ayrı sütunlar |
| Bir tabloda birden çok gözlem birimi | Öğrenci satırlarında okulun adresi ve türü tekrar ediyor | Öğrenci tablosu ve okul tablosu, ortak okul kodu |
| Bir gözlem birimi birden çok tabloda | Her şubenin verisi ayrı bir dosyada | Tek tablo ve bir şube sütunu |
Neyin “gözlem” sayılacağı analize bağlıdır. Ön test ve son test puanları iki sütunda durabilir (her satır bir kişi) ya da uzun biçimde yazılabilir (her satır bir kişinin bir ölçümü).
SPSS’in tekrarlı ölçümler prosedürü geniş biçimle çalışır; karma modeller çoğu yazılımda uzun biçim ister. İki biçim arasında dönüşüm kolaydır, yeter ki her hücrede tek bir değer bulunsun. Tekrarlı ölçümlerin analizi tekrarlı ölçümler varyans analizi yazısındadır.
Hesap tablosunda çalışanlar için Broman ve Woo (2018) aynı ilkeyi somut kurallara çevirir: her hücreye tek bir şey yazılır, veri dikdörtgen bir tablo olur, renk ya da vurgu veri yerine kullanılmaz (sarıya boyanmış hücrenin anlamı ayrı bir sütuna yazılır), ham veri dosyasında hesap yapılmaz ve tarihler YYYY-AA-GG biçiminde yazılır.
Veri temizleme adımları nelerdir?
Aşağıdaki sıra çoğu nicel araştırmaya uyar. Her adımın çıktısı bir sonraki adımın girdisidir ve her biri kayda geçer.
| Adım | Ne yapılır | Kayda geçen |
|---|---|---|
| Ham dosyayı koruyun (Adım 1) | Özgün dosya salt okunur saklanır, kopyada çalışılır | Ham dosyanın adı, tarihi, yedeği |
| Kod kitabını tamamlayın (Adım 2) | Her değişkenin adı, türü, kodları, geçerli aralığı yazılır | Kod kitabı |
| Düzenli biçime getirin (Adım 3) | Satır, sütun ve hücre yapısı düzeltilir | Dönüştürme adımları |
| Değişken türlerini denetleyin (Adım 4) | Sayı, metin, tarih ve kategori doğru okunmuş mu? | Tür düzeltmeleri |
| Aralık ve geçerli değer (Adım 5) | Her değer izin verilen kümede mi? | Aralık dışı değerler ve kararlar |
| Tutarlılık denetimi (Adım 6) | Değişkenler birbirini tutuyor mu? | Kural ihlalleri ve kararlar |
| Yinelenen kayıtlar (Adım 7) | Aynı birim birden çok kez var mı? | Çıkarılan kayıtlar ve kural |
| Eksik ve aykırı değerler (Adım 8) | Önceden yazılan kurallar uygulanır | Sayılar, yöntem, duyarlılık analizi |
| Kişisel verileri ayırın (Adım 9) | Kimlik bilgileri analiz dosyasından çıkarılır | Anahtar dosyanın yeri |
| Belgeleyin (Adım 10) | Temizlenmiş dosya ve betik saklanır | Temizleme günlüğü, betik |
Adım 1: Ham dosyayı koruyun
Ham veri, toplandığı hâliyle saklanır ve bir daha açılıp değiştirilmez (Wilson vd., 2017). Anket aracından indirilen dosya, kâğıt formların girildiği ilk dosya ya da cihazdan alınan kayıt bu kapsamdadır. Dosya en az iki ayrı yerde yedeklenir. Temizleme her zaman bir kopyada yapılır; böylece bir karardan dönmek gerektiğinde başlangıç noktası kaybolmaz.
Adım 2: Kod kitabını tamamlayın
Kod kitabı, veri dosyasındaki her sütunun ne anlama geldiğini anlatan belgedir: değişken adı, açıklaması, değer kodları, ölçüm birimi, ölçek düzeyi ve eksik değer kodu. Nasıl hazırlanacağı anket nasıl hazırlanır ve tez istatistik analizi yol haritası yazılarında anlatılır.
Temizleme için kod kitabına üç şey daha eklenir: her değişkenin geçerli aralığı ya da geçerli kodları, değişkenler arası tutarlılık kuralları ve yinelenen kayıt kuralı. Bu kurallar önceden, analiz sonuçlarına bakılmadan yazılınca denetim mekanik bir işe dönüşür; taramada çıkan yeni bir hata türü tarihiyle eklenir.
Ellis ve Leek (2018), bir veri setini başkasına teslim ederken dört şeyin birlikte verilmesini önerir: ham veri, düzenli veri, her değişkeni ve değerlerini anlatan kod kitabı ve ham veriden düzenli veriye götüren adımların açık tarifi. Tez verisi için de aynı paket iyi bir hedeftir; danışman ya da jüri aynı sonuca aynı yoldan ulaşabilmelidir.
Adım 3: Veriyi düzenli biçime getirin
Yukarıdaki beş sorun burada giderilir: birleşik hücreler ayrılır, başlık satırlarındaki değerler sütuna dönüştürülür, ayrı dosyalar tek tabloda birleştirilir. Değişken adları kısa, boşluksuz ve tutarlı seçilir (yas, kaygi_t1, kaygi_t2); bir sütunun adı içeriğini söylemelidir. Birden çok dosya birleştiriliyorsa ortak bir kimlik sütunu kullanılır ve birleştirmeden önce ve sonra satır sayıları karşılaştırılır.
Adım 4: Değişken türlerini denetleyin
Her sütunun programda doğru türde okunup okunmadığına bakılır. En sık sorunlar şunlardır:
- Metin olarak okunan sayılar. Tek bir hücrede “yok”, ”?” ya da “12,5 (tahmini)” gibi bir not bütün sütunu metne çevirir. Türkçe bölge ayarlı Excel’den kaydedilen CSV dosyalarında ondalık ayırıcı çoğunlukla virgül, alan ayırıcı noktalı virgüldür; R’de
read.csv2(), pandas’tasep=";"vedecimal=","bu dosyayı doğru okur. - Kendiliğinden dönüştürülen değerler. Hesap tablosu programları bazı metinleri tarihe çevirebilir (Ziemann vd., 2016) ve “0012” gibi kimliklerin baştaki sıfırlarını silebilir. Kimlik ve kod sütunları metin olarak tanımlanır.
- Sayıyla kodlanmış kategoriler. 1 = Ankara, 2 = İzmir gibi kodlanmış bir değişken sayısal görünür, ama ortalaması anlamsızdır. Programda kategorik (faktör, nominal) olarak tanımlanır.
- Yanlış tanımlanmış ölçek düzeyi. Değişkenin sıralı mı, aralıklı mı olduğu kod kitabında yazılı olmalı ve programda aynı biçimde tanımlanmalıdır; test seçimi buna dayanır. Sıralı bir bağımlı değişkende parametrik olmayan test birincil olur; tek örneklemde ve bağımlı örneklemlerde bu, işaret testidir (parametrik ve parametrik olmayan testler).
- Karakter kodlaması. “ş”, “ğ”, “ı” bozuk görünüyorsa dosya UTF-8 yerine Windows-1254 ile kaydedilmiş olabilir; okuma komutunda kodlama belirtilir.
Değişken türlerinin kendisi (nicel ve nitel, kesikli ve sürekli) istatistiksel değişkenler ve türleri, ölçek düzeyleri istatistiksel ölçekler yazısında anlatılır. R’de str(), pandas’ta df.dtypes her sütunun okunduğu türü gösterir; ilk okumanın ayrıntısı R ile istatistik analizi yazısındadır.
Adım 5: Aralık ve geçerli değerleri denetleyin
Her sayısal değişkenin en küçük ve en büyük değerine, her kategorik değişkenin bütün değerlerinin sıklığına bakılır. Kod kitabındaki geçerli aralığın dışında kalan değerler iki gruba ayrılır.
Olanaksız değerler gerçek gözlem olamaz: 1–5 arasında puanlanan bir maddede 7, 250 yaş, eksi bir süre. Şüpheli değerler olanaklıdır ama beklenmedik ölçüdedir: haftada 70 saat ders çalıştığını yazan bir öğrenci. Olanaksız değer kaynağından düzeltilir ya da eksik sayılır; şüpheli değer kaynağıyla karşılaştırılır ve doğruysa tutulur.
Kategorik değişkenlerde en etkili araç frekans tablosudur: “Diğer” altında toplanması gereken yanıtlar, kod kitabında olmayan bir kod ya da yalnız bir kez görülen bir yazım hemen görünür. Grafiklerle yapılan ilk inceleme Python ile keşifsel veri analizi yazısında adım adım gösterilir.
Adım 6: Tutarlılık denetimini yapın
Tek tek geçerli görünen değerler birlikte çelişebilir. Tutarlılık kuralları değişkenler arası mantıktan çıkar:
- Doğum tarihi veri toplama tarihinden sonra olamaz; izlem ölçümünün tarihi ilk ölçümden önce olamaz.
- Atlama yönergesi: “Çocuğunuz var mı?” sorusuna “Hayır” diyen birinin çocuk sayısı boş olmalıdır; yönergeye uymayan yanıtlar işaretlenir.
- Toplam puan alt ölçeklerin toplamıysa, alt ölçek puanlarının toplamı ölçeğin toplam puanıyla tutmalıdır; ters maddelerin çevrilip çevrilmediği de burada denetlenir (ters madde kodlama).
- Aynı kategori tek bir yazımla geçmelidir: “İstanbul”, “istanbul”, “Istanbul” ve sonunda boşluk taşıyan “İstanbul ” dört ayrı grup sayılır.
Son madde Türkçe veride ayrı bir dikkat ister. Programlar büyük-küçük harf dönüşümünde Türkçe kurala uymayabilir: Python’da “IŞIK” küçük harfe “işik” olarak, “İZMİR” ise noktalı bir “i” karakteri taşıyan yedi karakterlik bir dizeye dönüşür. Kategorileri birleştirmeden önce boşlukları kırpmak ve dönüşümü Türkçe kurala göre yapmak ya da yazımları bir eşleme tablosuyla tek tek birleştirmek gerekir.
Adım 7: Yinelenen kayıtları bulun
Yinelenen kayıt, aynı birimin veri setinde birden çok kez yer almasıdır. Üç biçimi vardır.
- Birebir kopyalar aynı dosyanın iki kez birleştirilmesinden ya da formun iki kez gönderilmesinden doğar; R’de ve pandas’ta
duplicated()bunları bulur. - Aynı kimlik, farklı içerik çoğu zaman bir kimlik numarasının yanlış yazıldığını gösterir; iki kaydın hangisinin doğru olduğu kaynaktan denetlenir.
- Yakın kopyalar aynı kişinin farklı yazımlarla girilmiş kayıtlarıdır ve birebir eşleşmeyle bulunmaz. Elmagarmid, Ipeirotis ve Verykios (2007) bu sorunu inceleyen yöntemleri, yazım farklarını ölçen benzerlik ölçülerinden olasılıklı kayıt eşleştirmeye kadar derler.
Hangi kaydın tutulacağı önceden bir kurala bağlanır: ör. “aynı katılımcının ilk tamamlanmış yanıtı tutulur”. Kimlik bilgisi toplamayan anonim bir ankette yinelenen kayıt ancak birebir aynı yanıt örüntüsü ve gönderim zamanıyla tahmin edilebilir; böyle bir karar kesin değildir ve öyle raporlanır. Çıkarılan kayıtların sayısı ve kuralı yöntem bölümüne girer.
Adım 8: Eksik ve aykırı değerleri ele alın
Bu adım ayrı yazıların konusudur; burada yalnız sırası önemlidir. Önce eksik değer kodları (ör. 99) programda eksik olarak tanımlanır; aksi hâlde bu sayılar ortalamaya girer. Aralık denetiminde hata olarak belirlenen değerler eksik sayılınca eksik verinin miktarı değişir, bu yüzden eksik veri incelemesi aralık ve tutarlılık denetiminden sonra yapılır. Mekanizmalar ve yöntemler eksik veri analizi, tespit kuralları ve silme kararı aykırı değer yazısındadır.
Adım 9: Kişisel verileri analiz dosyasından ayırın
Kişiyi tanıtan bilgiler (ad, kimlik numarası, e-posta, adres) analiz dosyasından çıkarılır ve her katılımcıya bir numara verilir. Numarayla kimliği eşleştiren anahtar dosya, analiz dosyasından ayrı ve erişimi sınırlı bir yerde tutulur.
Türkiye’de kişisel verilerin işlenmesi 6698 sayılı Kişisel Verilerin Korunması Kanunu’na (KVKK) tabidir.
Dikkat
Kimlik bilgileri çıkarılmış ya da kodlanmış veri, başka verilerle eşleştirilerek kişiye bağlanabiliyorsa hâlâ kişisel veridir; adı silmek tek başına anonimleştirme değildir (KVKK md. 3).
Bu bir hukuki tavsiye değildir; ayrıntılar veri ve veri kaynakları ile etik kurul başvurusu yazılarındadır.
Adım 10: Her kararı belgeleyin ve yeniden üretilebilir kılın
Temizlemenin her adımı ya bir betikle (R, Python, SPSS sözdizimi) ya da yazılı bir günlükle kayda geçer. Sandve vd.‘nin (2013) yeniden üretilebilir hesaplamalı araştırma için önerdiği on kuralın ilk ikisi buraya uyar: her sonucun nasıl üretildiği izlenmeli ve veriye elle müdahaleden kaçınılmalıdır. Hesap tablosunda elle yapılan bir düzeltme iz bırakmaz; betikteki bir satır ise hem ne yapıldığını hem de neden yapıldığını (yorum satırıyla) söyler. Wilson vd. (2017) de verinin işlendiği bütün adımların kaydedilmesini önerir.
Betik bir sürüm denetim sistemiyle (ör. Git) ya da en azından tarihli kopyalarla saklanır. Böylece altı ay sonra jüri “bu katılımcılar neden çıkarıldı?” diye sorduğunda yanıt bir dosyada hazırdır.
Örnek: bir anket dosyasının temizleme günlüğü
Aşağıdaki günlük varsayımsal bir çalışmaya aittir. Bir araştırmacı, üç fakültedeki lisans öğrencilerine çevrim içi bir sınav kaygısı ölçeği uygulamış; dosyayı anket aracından indirip temizliyor. Günlük, kod kitabındaki kurallara göre her bulguyu, kararı ve gerekçesini yazıyor.
| Bulgu | Karar | Gerekçe ve kaynak |
|---|---|---|
| İki satır bütün sütunlarda birebir aynı | İkinci satır çıkarıldı | Form iki kez gönderilmiş; kod kitabındaki kural: ilk tamamlanmış yanıt tutulur |
| Fakülte sütununda “Eğitim”, “eğitim” ve “Eğitim Fak.” | Tek yazımda birleştirildi | Eşleme tablosu betikte; frekans tablosu önce ve sonra kaydedildi |
| Yaş sütunu metin okundu | Hücredeki “20 yaşında” 20’ye çevrildi | Değer açık; sütun sayıya çevrildi |
| Bir maddede 1–5 dışında bir yanıt (7) | Değer eksik sayıldı | Olanaksız değer; çevrim içi formda kaynağı yok |
| Bir katılımcı lisansüstü öğrencisi | Analiz dışı bırakıldı | Dahil etme ölçütü önceden yazılmış: yalnız lisans |
| Ters maddeler çevrilmemiş | Ters kodlama betikte yapıldı | Madde-toplam korelasyonları çevirmeden önce negatifti |
Günlükteki her satır yöntem bölümünde tek bir cümleye dönüşebilir: kaç kayıt hangi nedenle çıkarıldı, hangi değerler eksik sayıldı, hangi kurallar uygulandı. Bu bilgilerin bölümdeki yeri tez yöntem bölümü yazısında anlatılır. Temizlenmiş veriyle yapılan analizin seçimi ise doğru istatistiksel test seçimi yazısının konusudur.
Veri temizleme kontrol listesi
Analize geçmeden önce aşağıdaki maddelerin hepsi işaretlenebilmelidir:
- Ham dosya değiştirilmeden ve en az iki yerde saklanıyor.
- Kod kitabında her değişkenin türü, kodları, geçerli aralığı ve eksik değer kodu yazılı.
- Tutarlılık ve yinelenen kayıt kuralları analiz sonuçlarına bakmadan yazılmış; sonradan eklenenler tarihli.
- Her değişken bir sütun, her gözlem bir satır, her hücrede tek değer var.
- Her sütun programda doğru türde okunuyor; kimlik ve kod sütunları metin, kategoriler faktör.
- Her sayısal değişkenin en küçük ve en büyük değeri, her kategorik değişkenin frekans tablosu incelendi.
- Tutarlılık kurallarının ihlalleri kaynağıyla karşılaştırıldı.
- Yinelenen kayıtlar arandı; çıkarılanların sayısı ve kuralı kayıtlı.
- Eksik değer kodları programda eksik olarak tanımlı; eksik ve aykırı değer kararları gerekçeli.
- Kimlik bilgileri analiz dosyasında yok; anahtar dosya ayrı yerde.
- Temizleme betiği ya da günlüğü ham dosyadan temiz dosyaya kadar her adımı içeriyor.
Sık yapılan hatalar
Aşağıdaki hataların her biri sonucu sessizce bozabilir ya da bozulduğunun anlaşılmasını engelleyebilir.
- Ham dosyada çalışmak. Bir düzeltmenin yanlış olduğu anlaşıldığında geri dönülecek yer kalmaz.
- Hesap tablosunda iz bırakmadan düzeltmek. Hücreyi elle değiştirmek ya da renkle işaretlemek, kararı yalnız düzeltmeyi yapanın belleğine bırakır.
- Kuralları sonuçlara bakarak seçmek. Hangi kaydın çıkarılacağı analizden sonra belirlenirse sonuç verinin değil araştırmacının beklentisinin ürünü olabilir.
- Şüpheli değeri olanaksız değer gibi silmek. Gerçek ama uç bir değer silinince değişkenlik küçülür ve sonuç olduğundan kesin görünür.
- Birleştirmeden sonra satır sayısına bakmamak. İki dosyayı kimlik numarasıyla birleştirirken eşleşmeyen ya da birden çok kez eşleşen kayıtlar sessizce kaybolabilir ya da çoğalabilir.
- Temizlemeyi raporlamamak. Okur kaç kaydın neden çıkarıldığını bilemezse sonucun genellenebilirliğini değerlendiremez.
Sık sorulan sorular
Veri temizleme ile veri ön işleme aynı şey mi?
Örtüşürler ama aynı değildir. Veri temizleme hataları ve tutarsızlıkları bulup düzeltir. Veri ön işleme daha geniştir: değişken türetme, ölçekleme, kategorileri yeniden kodlama gibi analize hazırlık işlemlerini de kapsar. Makine öğrenmesinde veriden hesaplanan ön işlem adımları çapraz doğrulama katlarının içinde yapılır.
Veri temizleme hangi programda yapılır?
Herhangi bir istatistik programında yapılabilir; önemli olan adımların kayda geçmesidir. R ve Python betikleri ya da SPSS sözdizimi her adımı yeniden çalıştırılabilir biçimde saklar. Hesap tablosu programında çalışılıyorsa her düzeltme ayrı bir günlüğe yazılır. Programların karşılaştırması ücretsiz istatistik programları yazısındadır.
Hatalı olduğundan emin olmadığım bir değeri ne yapmalıyım?
Değeri değiştirmeden tutun ve işaretleyin. Van den Broeck vd. (2005) bazı şüpheli değerler için tanı konamayacağını kabul eder; böyle bir değer için analiz değerle ve değer eksik sayılarak iki kez yapılabilir. İki sonuç aynıysa bu yazılır; farklıysa ikisi de raporlanır.
Normallik ve varyans denetimleri temizlemeden önce mi sonra mı yapılır?
Sonra. Tek bir kayıt hatası dağılımın çarpıklığını ve basıklığını büyütebilir; bu yüzden dağılım hatalar ayıklandıktan sonra incelenir. Shapiro-Wilk ve Levene sonuçları raporlanır, ama testi belirlemez; seçimin nasıl yapıldığı doğru istatistiksel test seçimi yazısındadır.
Temizleme sırasında çıkardığım katılımcıları raporlamalı mıyım?
Evet. Toplanan kayıt sayısı, çıkarılan kayıtların sayısı ve her birinin nedeni (yinelenen kayıt, dahil etme ölçütü, olanaksız yanıt örüntüsü) ve analize giren son örneklem büyüklüğü yöntem ya da bulgular bölümünde yazılır.
- #veri-temizligi
- #tez-istatistik-analizi
- #anket-hazirlama
- #istatistiksel-degiskenler
Bilimsel inceleme
Makine öğrenmesi ve biyoistatistik alanlarında çalışır; sağlık, fen ve sosyal bilimlerde disiplinlerarası araştırmalarda istatistik danışmanlığı yürütür.
Kaynakça
- Broman, K. W., & Woo, K. H. (2018). Data organization in spreadsheets. The American Statistician, 72(1), 2–10.
- Ellis, S. E., & Leek, J. T. (2018). How to share data for collaboration. The American Statistician, 72(1), 53–57.
- Elmagarmid, A. K., Ipeirotis, P. G., & Verykios, V. S. (2007). Duplicate record detection: A survey. IEEE Transactions on Knowledge and Data Engineering, 19(1), 1–16.
- Sandve, G. K., Nekrutenko, A., Taylor, J., & Hovig, E. (2013). Ten simple rules for reproducible computational research. PLoS Computational Biology, 9(10), Article e1003285.
- Van den Broeck, J., Argeseanu Cunningham, S., Eeckels, R., & Herbst, K. (2005). Data cleaning: Detecting, diagnosing, and editing data abnormalities. PLoS Medicine, 2(10), Article e267.
- Wickham, H. (2014). Tidy data. Journal of Statistical Software, 59(10), 1–23.
- Wilson, G., Bryan, J., Cranston, K., Kitzes, J., Nederbragt, L., & Teal, T. K. (2017). Good enough practices in scientific computing. PLoS Computational Biology, 13(6), Article e1005510.
- Ziemann, M., Eren, Y., & El-Osta, A. (2016). Gene name errors are widespread in the scientific literature. Genome Biology, 17, Article 177.
Kendi verinizde görün
Kavramı kendi verinizde görmek isterseniz Veri Keşfi ve Betimsel İstatistik modülünü örnek veriyle açabilirsiniz. Basira’yı deneyin
İlgili yazılar
Veri Bilimi ve Yapay Zekâ
Python ile Veri Analizi: Keşifsel Analiz Adım Adım
Python ile veri analizi adım adım: pandas ile CSV okuma, betimsel istatistik, çarpıklık, aykırı değer, grafik ve güven aralığı gerçek çıktılarla.
Basira ·
Araştırma Yöntemleri
Etik Kurul Başvurusu Nasıl Yapılır? Adım Adım Rehber
Etik kurul başvurusu veri toplanmadan önce yapılır. Hangi araştırma onay ister, hangi belgeler hazırlanır; onam, KVKK ve örneklem gerekçesi adım adım.
Basira ·
Temel İstatistik
Bağımlı ve Bağımsız Değişken Nedir? Farkı ve 12 Örnek
Bağımlı ve bağımsız değişken nedir? Bağımlı değişken etkilendiği düşünülen sonuç, bağımsız değişken onu etkileyen etkendir; 12 örnek ve test seçimi.
Basira ·