Veri Sızıntısı Nedir? Makine Öğrenmesinde Nasıl Önlenir?

Basira Editör Ekibi · · 9 dk okuma · Bilimsel inceleme: Doç. Dr. Hasan Yıldırım

Aa Yazı boyutu
Yazı boyutu

Anahtar çıkarımlar

  • Veri sızıntısı, tahmin anında meşru olarak bilinemeyecek bir bilginin (hedefin bir türevi, gelecekte oluşacak bir kayıt ya da test verisinin özellikleri) modelin eğitimine karışmasıdır; model değerlendirmede olduğundan başarılı görünür.
  • Başlıca türleri hedef sızıntısı, zaman sızıntısı, ön işlem sızıntısı ve aynı kişiye ait satırların hem eğitimde hem testte bulunmasıdır; test verisine bakarak model seçmek de aynı sonucu doğurur.
  • Ölçekleme, eksik değer doldurma, değişken seçimi ve SMOTE gibi bütün hazırlık adımları her çapraz doğrulama katının yalnızca eğitim kısmında öğrenilir; test kısmına yalnızca uygulanır.
  • Çözümlü örnekte SMOTE'u katlara bölmeden önce uygulamak aynı modelin ROC AUC'sini belirgin biçimde yükseltti; artış modelden değil, sızıntıdan geldi.
  • Alan bilgisine göre fazla iyi bir sonuç, tek başına neredeyse kusursuz ayıran bir değişken ve çapraz doğrulama ile ayrı test verisi arasındaki büyük fark sızıntının uyarı işaretleridir.

İçindekiler

İçindekiler

Veri sızıntısı, bir makine öğrenmesi modelinin eğitim sırasında, tahmin yapacağı anda meşru olarak bilemeyeceği bir bilgiye erişmesidir: hedefin kendisinden türeyen bir değişken, ileride kaydedilecek bir ölçüm ya da test verisinin özellikleri. Sızıntılı bir model değerlendirmede olduğundan başarılı görünür, yeni veride ise bu başarıyı gösteremez.

Sızıntı modelin kendisinde değil, verinin hazırlanışında ve modelin nasıl sınandığında ortaya çıkar. Bu yazı sızıntının türlerini, nasıl önlendiğini ve nasıl fark edildiğini anlatır; sonunda aynı veride sızdıran ve sızdırmayan iki değerlendirmeyi karşılaştıran çözümlü bir örnek verir. Çapraz doğrulamanın kendisi yeniden örnekleme yöntemleri yazısında, sınıflandırma ölçütleri makine öğrenmesinde sınıflandırma yazısında ayrıntılıdır.

Veri sızıntısı nedir?

Kaufman vd. (2012) sızıntıyı, modelin öğrenmesi için meşru olarak elde bulunmaması gereken, hedef hakkındaki bir bilginin modele girmesi diye tanımlar. Ölçüt, bir değişkenin hedefle ne kadar güçlü ilişkili olduğu değil, o bilginin tahmin anında var olup olmadığıdır. Yazarların önerdiği çözüm “öğrenme ile tahmini ayırmak”tır: model yalnızca, kullanılacağı anda gerçekten elde olacak bilgiyle kurulur ve veri baştan buna göre düzenlenir.

Sızıntı makine öğrenmesinin bilimsel kullanımında yaygın bir sorundur. Kapoor ve Narayanan (2023), makine öğrenmesini benimsemiş alanlardaki literatürü tarayarak sızıntı bulunan 17 alan ve bu alanlarda toplam 294 makale saptamış; bazı makalelerde sonuçların aşırı iyimser olduğunu bildirmiştir. Aynı çalışmada iç savaş tahmini üzerine yeniden yapılan bir çözümlemede, hatalar düzeltildiğinde karmaşık modellerin klasik lojistik regresyondan belirgin biçimde daha iyi olmadığı görülmüştür.

Sızıntı ile aşırı öğrenme karıştırılmamalıdır. Aşırı öğrenmede model eğitim verisinin gürültüsünü ezberler; doğru kurulmuş bir doğrulama bunu yakalar, çünkü model görmediği veride başarısız olur. Sızıntıda ise bozulan doğrulamanın kendisidir: test verisinin bilgisi eğitime karıştığı için doğrulama da iyimser sonuç verir ve sorun ancak model gerçekten yeni veriyle karşılaşınca ortaya çıkar.

Veri sızıntısı türleri nelerdir?

Kapoor ve Narayanan (2023) sızıntıyı ders kitabı hatalarından açık araştırma sorularına uzanan sekiz türe ayırır. Araştırmacının en sık karşılaştığı biçimler aşağıdaki listede toplanmıştır.

  • Hedef sızıntısı: Hedeften sonra oluşan ya da hedefin bir türevi olan değişken girdi olarak kullanılır. Önlem: her değişken için “tahmin anında bilinir mi?” sorusu.
  • Zaman sızıntısı: Gelecek dönemin gözlemleri ya da gelecekten hesaplanan değerler eğitime girer. Önlem: eğitim dönemini test döneminden önceye koyan bölme.
  • Ön işlem sızıntısı: Ölçekleme, doldurma, değişken seçimi ya da SMOTE bütün veride yapılıp sonra bölünür. Önlem: her adım katın yalnızca eğitim kısmında öğrenilir.
  • Grup sızıntısı: Aynı kişinin ya da kurumun satırları, yinelenen kayıtlar hem eğitimde hem testte bulunur. Önlem: gruplu bölme ve yinelenen kayıtların ayıklanması.
  • Test verisinin yeniden kullanımı: Model ya da ayarlar test sonucuna bakılarak tekrar tekrar değiştirilir. Önlem: test verisi en sonda bir kez; ayar için iç içe doğrulama.

Hedef sızıntısı

Hedef sızıntısında girdi değişkenlerinden biri, hedef gerçekleştikten sonra oluşur ya da hedefin dolaylı bir kaydıdır. Öğrencinin dersi bırakıp bırakmayacağını dönem ortasında tahmin eden bir modelde “final sınavına girmedi” değişkeni, hastalık riskini tahmin eden bir modelde tanıdan sonra başlanan ilacın kaydı, müşteri kaybı modelinde “hesap kapatma talebi” böyledir. Bu değişkenlerle model neredeyse kusursuz görünür, ama tahmin anında bu bilgiler yoktur.

Kaufman vd. (2012), bu tür sorunların büyük veri madenciliği yarışmalarında da tartışma yarattığını aktarır.

Hedefle güçlü ilişkili her değişken sızıntı değildir. Dönem ortasındaki devamsızlık, dersi bırakmayla ilişkili olabilir ve tahmin anında bilinir; meşru bir girdidir. Belirleyici olan ilişkinin gücü değil, bilginin zamanıdır.

Zaman sızıntısı

Gözlemler zamana göre sıralıysa veriyi rastgele karıştırıp katlara bölmek, modelin tahmin etmesi istenen dönemden sonraki gözlemlerle eğitilmesi demektir. Zaman sızıntısının daha sinsi bir biçimi, değişkenleri bütün dönemden hesaplamaktır: yıl ortasındaki bir olayı tahmin ederken yıl sonu ortalamasını girdi olarak kullanmak gibi.

Roberts vd. (2017), zaman, mekân ya da hiyerarşik yapı taşıyan verilerde rastgele çapraz doğrulamanın tahmin hatasını ciddi biçimde olduğundan küçük gösterdiğini ve böyle verilerde verinin yapısına göre bloklara bölen doğrulamanın daha uygun olduğunu gösterir.

Ön işlem sızıntısı

Ön işlem sızıntısı, verinin hazırlanmasında kullanılan bir istatistiğin test gözlemleri de dahil bütün veriden hesaplanmasıdır. Değişkenleri standartlaştırırken ortalama ve standart sapma bütün veriden alınırsa (z puanı dönüşümünün parametreleri), test verisi eğitime küçük de olsa bilgi taşır. Eksik değerleri bütün verinin ortalamasıyla doldurmak da aynı durumu yaratır; doldurma yöntemleri eksik veri yazısında anlatılır. Sınıf bilgisi kullanılmadığı için bu adımların etkisi çoğu zaman küçüktür, ama onlar da her katın eğitim kısmından öğrenilir.

Sınıf bilgisini kullanan adımlarda etki büyüktür. Hastie vd. (2009), değişkenleri bütün veride hedefle ilişkilerine göre seçip ardından çapraz doğrulama yapmanın, hiçbir bilgi taşımayan değişkenlerle bile çok düşük bir hata gösterebildiğini örnekler.

Dikkat

SMOTE gibi seyrek sınıfa yapay gözlem ekleyen yöntemler de katlara bölmeden önce uygulanırsa başarı olduğundan yüksek görünür (Santos vd., 2018). Bu yazının örneği bu durumu sayılarla gösterir.

Temel bileşenler analizi gibi boyut indirgeme adımları da aynı kurala uyar.

Grup ve yinelenen kayıt sızıntısı

Aynı kişiden, aynı okuldan ya da aynı hastaneden birden fazla satır varsa ve bu satırlar eğitim ile test arasında bölünürse, model kişiyi “tanır”: test başarısı, yeni bir kişiyle karşılaşıldığındakinden yüksek çıkar. Aynı kaydın veride iki kez bulunması ya da bir görüntünün döndürülmüş kopyalarının iki tarafa dağılması da aynı sonucu doğurur. Çözüm, bir grubun bütün satırlarını aynı tarafta tutan gruplu bölme ve yinelenen kayıtların bölmeden önce ayıklanmasıdır.

Test verisinin yeniden kullanımı

Ayar araması ile başarı tahmini aynı katlarda yapılırsa seçilen ayar o katlarda şans eseri iyi sonuç verdiği için de seçilmiş olabilir ve bulunan başarı iyimserdir (Cawley ve Talbot, 2010). Test sonucuna bakıp modeli değiştirmek, ardından aynı test verisinde yeniden ölçmek de test verisini fiilen bir doğrulama verisine çevirir. İç içe çapraz doğrulama ve bir kez kullanılan test verisi yeniden örnekleme yöntemleri yazısında anlatılmıştır.

Sızıntı hangi yöntemle önlenir?

Sızıntıyı önlemenin özü, değerlendirmeyi modelin gerçekte kullanılacağı durumun bir provası olarak kurmaktır. Aşağıdaki sıra bunu adım adım sağlar:

  1. Tahmin anını tanımlayın. Model hangi anda, hangi bilgiyle kullanılacak? Değişken listesi bu soruyla tek tek gözden geçirilir; her değişkenin ne zaman kaydedildiği belgelenir.
  2. Test verisini en başta ayırın. Ayırma, verinin yapısına uygun yapılır: sınıflandırmada katmanlı, tekrarlı ölçümlerde gruplu, zamana göre sıralı veride zaman sınırından. Test verisine model ve bütün ayarlar sabitlenene kadar dokunulmaz.
  3. Hazırlık adımlarını tek bir işlem hattında toplayın. Ölçekleme, doldurma, kodlama, değişken seçimi ve yeniden örnekleme modelle birlikte bir hatta (pipeline) konur; hat her katta yalnızca eğitim kısmında öğrenir, test kısmına yalnızca uygulanır. Python’da scikit-learn’ün işlem hattı bu işi görür; yeniden örnekleme adımı için imbalanced-learn kütüphanesinin işlem hattı kullanılır.
  4. Çapraz doğrulamayı da verinin yapısına göre seçin. Test ayırmada kullanılan mantık (katmanlı, gruplu, zamana saygılı) katlarda da sürdürülür.
  5. Ayar aramasını ayrı tutun. Ayar araması yapılacaksa iç içe çapraz doğrulama kullanılır ya da başarı yalnızca ayrı tutulan test verisinden raporlanır.
  6. Yaptığınızı raporlayın. Hangi adımların katların içinde yapıldığı, bölmenin nasıl kurulduğu ve test verisinin kaç kez kullanıldığı yöntem bölümünde açıkça yazılır.

Kapoor ve Narayanan (2023) bu son adım için araştırmacıların her sızıntı türünü tek tek sorgulayan bir “model bilgi formu” doldurmasını önerir. Tez ya da makalede bu bilgilerin yeri yöntem bölümüdür; bölümün genel yapısı tezin yöntem bölümü yazısında anlatılır.

Sızıntı değerlendirme sonuçlarından nasıl fark edilir?

Sızıntı çoğu zaman sonuçlara bakarak değil, verinin nasıl hazırlandığını inceleyerek bulunur. Yine de bazı sonuçlar şüphe uyandırmalıdır:

  • Alan bilgisine göre fazla iyi bir başarı. Benzer çalışmaların orta düzeyde ayırt etme bildirdiği bir soruda ROC eğrisi altındaki alanın (ROC AUC) neredeyse kusursuz çıkması, önce bir hata olarak ele alınır.
  • Tek başına neredeyse kusursuz ayıran bir değişken. Değişken önemi listesinin tepesindeki değişken, tahmin anında bilinip bilinmediği sorusuyla yeniden incelenir; çıkarıldığında başarının çok düşmesi hedef sızıntısının işareti olabilir.
  • Çapraz doğrulama ile ayrı test verisi arasında büyük fark. Hazırlık adımları bütün eğitim verisinde yapılmış ama test verisi en başta ayrılmışsa, çapraz doğrulama iyimser, test sonucu gerçekçi çıkar.
  • Hedef karıştırıldığında da yüksek kalan başarı. Hedef sütunu rastgele karıştırılıp bütün hat yeniden koşturulduğunda başarı şans düzeyine inmelidir; inmiyorsa hatta bir adım sınıf bilgisini katların dışından alıyordur.
  • Kodda bütün veriye uygulanan öğrenme adımları. Bölmeden önce bütün veride çağrılan bir ölçekleyici, doldurucu, seçici ya da yeniden örnekleyici doğrudan bir sızıntı kaynağıdır.

Bu işaretlerin hiçbiri tek başına kanıt değildir; sızıntıyı kesinleştiren, verinin ve hattın adım adım izlenmesidir. Veri bilimi süreci içinde bu inceleme, model kurulmadan önceki veri anlama ve hazırlama adımlarının parçasıdır.

Örnek: SMOTE çapraz doğrulamadan önce uygulanırsa ne olur?

SMOTE katlara bölmeden önce bütün veriye uygulanırsa aynı model, aynı veride olduğundan belirgin biçimde başarılı görünür; aşağıdaki örnek bunu bir dersi bırakma verisinde gösterir.

Bir yüksekokulda 60 öğrencinin dönem sonu kaydına bakılıyor; 12’si dersi bıraktı (varsayımsal veri). Her öğrenci için dönemin sekizinci haftasında bilinen üç ölçüm var: devamsızlık (saat), ara sınav puanı ve öğrenme yönetim sistemine haftalık ortalama giriş sayısı; birakti sütununda 1 dersi bırakanı gösterir. Bu üç değişken tahmin anında bilindiği için hedef sızıntısı yoktur.

Bir k-en yakın komşu modelinin başarısı 10 kez tekrarlanan katmanlı 5 katlı çapraz doğrulamayla, test katlarındaki ROC AUC ortalaması olarak üç biçimde tahmin edildi. Her katta standartlaştırma yalnızca eğitim kısmından öğrenildi.

Dersi bırakma verisi: 60 birinci sınıf öğrencisi, 12'si dersi bıraktı; sekizinci haftadaki üç ölçüm (varsayımsal veri)
devamsizlik_saatara_sinavlms_girisbirakti
8624.60
9642.11
5804.40
7874.30
9445.30
5754.70
9624.21
8633.50
64321
1802.60
74830
4712.10

İlk 12 satır (toplam 60) · Bu örnekteki tüm sayılar scikit-learn 1.7.2 ile bağımsız olarak yeniden hesaplanır. Veriyi indirin (CSV)

Tablo 1

Üç değerlendirme yolunda test katlarındaki ortalama ROC AUC

Değerlendirme yoluOrtalama ROC AUC
SMOTE yok.71
SMOTE her katın yalnızca eğitim kısmında (doğru yol).72
SMOTE bütün veride, katlara bölmeden önce (sızdıran yol).88

Doğru kurulmuş iki yol neredeyse aynı sonucu veriyor: model dersi bırakacak öğrencileri orta düzeyde ayırt ediyor. SMOTE bütün veriye katlara bölmeden önce uygulandığında ise aynı model, aynı veriyle belirgin biçimde daha başarılı görünüyor.

Bunun nedeni, SMOTE’un yapay gözlemleri seyrek sınıfın gerçek gözlemleri arasına yerleştirmesidir (Chawla vd., 2002): bölmeden önce uygulanınca test katındaki öğrencilerden türetilmiş noktalar eğitime düşer. Mekanizmanın ayrıntısı ve aynı desenin bir tanı verisindeki karşılığı yeniden örnekleme yöntemleri yazısındadır.

Sızdıran yolda test katları da SMOTE’un ürettiği yapay noktaları içerir. Ölçüm yalnızca gerçek öğrencilerle yapıldığında AUC yine .84 çıkıyor; yani sorun yalnızca test katlarındaki yapay noktalardan değil, eğitime sızan bilgiden de kaynaklanıyor.

Bu örnekte sızıntıyı ele veren işaret, sonuç değil koddur: SMOTE bölmeden önce bütün veriye uygulanmıştır. Sonuçtan kanıt aramak burada yanıltır.

Yalnızca 12 öğrencinin dersi bıraktığı bir veride tek bir AUC tahmini belirsizdir: doğru kurulmuş SMOTE’suz yol için Nadeau ve Bengio (2003) düzeltmesine dayanan yaklaşık %95 aralığı .55–.88’dir. Sızdıran yolun .88’i bu aralığın üst ucuyla neredeyse aynıdır; yani .88 tek başına “fazla iyi” bir sonuç sayılamaz.

Sızıntı, aynı veride ve aynı katlarda iki hazırlık biçiminin sistematik farkından ve mekanizmasından anlaşılır. Yeni öğrencilerde beklenen başarının, doğru yolların gösterdiği düzeye daha yakın olması beklenir; SMOTE doğru uygulandığında başarıyı kayda değer biçimde artırmadı, yani yeniden örnekleme bir başarı garantisi değildir.

Sık sorulan sorular

Veri sızıntısı ile aşırı öğrenme aynı şey mi?

Hayır. Aşırı öğrenmede model eğitim verisinin gürültüsünü ezberler ve doğru kurulmuş bir doğrulama bunu yakalar. Sızıntıda doğrulamanın kendisi bozulur: test verisinin ya da geleceğin bilgisi eğitime karıştığı için doğrulama da iyimser sonuç verir.

Ölçeklemeyi bütün veride yapmak da sızıntı mıdır?

Evet, test gözlemlerinin ortalama ve standart sapmaya katkısı eğitime taşındığı için küçük bir sızıntıdır. Etkisi değişken seçimi ya da SMOTE gibi sınıf bilgisini kullanan adımlarınkinden genellikle çok daha küçüktür, ama doğru uygulama her katta ölçeklemeyi yalnızca eğitim kısmından öğrenmektir.

Hedefle çok güçlü ilişkili bir değişken sızıntı mıdır?

Kendiliğinden değil. Belirleyici soru, değişkenin tahmin anında bilinip bilinmediğidir. Tahmin anında bilinen güçlü bir yordayıcı meşrudur; hedef gerçekleştikten sonra kaydedilen bir değişken ise ilişkisi zayıf olsa da sızıntıdır.

Ayrı bir test verisi ayırmak sızıntıyı önlemeye yeter mi?

Tek başına yetmez. Ölçekleme ya da değişken seçimi test verisi ayrılmadan önce bütün veride yapıldıysa test verisi de sızıntıdan etkilenir. Test verisine bakılarak model tekrar tekrar değiştiriliyorsa test sonucu da iyimserleşir. Aynı kişinin satırları iki tarafa dağılmışsa test başarısı yine yüksek çıkar.

Tezde sızıntının önlendiği nasıl raporlanır?

Yöntem bölümünde test verisinin nasıl ayrıldığı (katmanlı, gruplu ya da zamana göre), hangi hazırlık adımlarının çapraz doğrulama katlarının içinde yapıldığı, ayar aramasının nasıl kurulduğu ve test verisinin yalnızca bir kez kullanıldığı yazılır. Değişkenlerin tahmin anında bilindiği de gerekçesiyle belirtilir.

Bilgi güvenliğindeki “veri sızıntısı” ile aynı şey mi?

Hayır. Bilgi güvenliğinde veri sızıntısı, kişisel ya da kurumsal verinin yetkisiz biçimde dışarıya çıkmasıdır. Makine öğrenmesindeki veri sızıntısı ise bir değerlendirme hatasıdır: modelin, kullanılacağı anda bilemeyeceği bilgiyle eğitilmesi ya da sınanması.

  • #makine-ogrenmesi
  • #capraz-dogrulama
  • #model-degerlendirme
  • #veri-sizintisi

Bilimsel inceleme

Doç. Dr. Hasan Yıldırım

Karamanoğlu Mehmetbey Üniversitesi Öğretim Üyesi

İnceleme tarihi:

Makine öğrenmesi ve biyoistatistik alanlarında çalışır; sağlık, fen ve sosyal bilimlerde disiplinlerarası araştırmalarda istatistik danışmanlığı yürütür.

Kaynakça

  1. Cawley, G. C., & Talbot, N. L. C. (2010). On over-fitting in model selection and subsequent selection bias in performance evaluation. Journal of Machine Learning Research, 11, 2079–2107.
  2. Chawla, N. V., Bowyer, K. W., Hall, L. O., & Kegelmeyer, W. P. (2002). SMOTE: Synthetic minority over-sampling technique. Journal of Artificial Intelligence Research, 16, 321–357.
  3. Hastie, T., Tibshirani, R., & Friedman, J. (2009). The elements of statistical learning: Data mining, inference, and prediction (2nd ed.). Springer.
  4. Kapoor, S., & Narayanan, A. (2023). Leakage and the reproducibility crisis in machine-learning-based science. Patterns, 4(9), 100804.
  5. Kaufman, S., Rosset, S., Perlich, C., & Stitelman, O. (2012). Leakage in data mining: Formulation, detection, and avoidance. ACM Transactions on Knowledge Discovery from Data, 6(4), 15.
  6. Nadeau, C., & Bengio, Y. (2003). Inference for the generalization error. Machine Learning, 52(3), 239–281.
  7. Roberts, D. R., Bahn, V., Ciuti, S., Boyce, M. S., Elith, J., Guillera-Arroita, G., Hauenstein, S., Lahoz-Monfort, J. J., Schröder, B., Thuiller, W., Warton, D. I., Wintle, B. A., Hartig, F., & Dormann, C. F. (2017). Cross-validation strategies for data with temporal, spatial, hierarchical, or phylogenetic structure. Ecography, 40(8), 913–929.
  8. Santos, M. S., Soares, J. P., Abreu, P. H., Araújo, H., & Santos, J. (2018). Cross-validation for imbalanced datasets: Avoiding overoptimistic and overfitting approaches. IEEE Computational Intelligence Magazine, 13(4), 59–76.

Analizinizi şimdi yapın

Basira’da kendiniz yapın

ML Studio ücretli planlarda açıktır; ücretsiz planda kapalıdır.

Planları inceleyin

Uzmanla çalışın

Tez ya da makaleniz için doktora düzeyinde uzmanlar analizinizi yapar veya denetler.

Nasıl çalışır?

İlgili yazılar