ROC Analizi Nedir? AUC ve Kesim Noktası Nasıl Yorumlanır?

Basira Editör Ekibi · · 12 dk okuma · Bilimsel inceleme: Doç. Dr. Hasan Yıldırım

Aa Yazı boyutu
Yazı boyutu

Anahtar çıkarımlar

  • ROC analizi, sürekli bir test değerinin ya da bir modelin verdiği olasılığın iki sınıfı ayırma gücünü bütün eşiklerde birlikte inceler; eğri her eşikte duyarlılığı 1 − özgüllüğe karşı çizer.
  • Eğri altındaki alan (AUC), rastgele seçilen bir pozitifin rastgele seçilen bir negatiften daha yüksek değer alma olasılığıdır; .50 şans düzeyi, 1 kusursuz ayırt etmedir ve Mann-Whitney U istatistiğinden hesaplanır.
  • AUC için .70, .80 ve .90 gibi sınırlar kaba bir kılavuzdur; değer testin amacına, aynı soruda kullanılan testlerin başarısına ve güven aralığına göre yorumlanır.
  • Youden indeksi (J = duyarlılık + özgüllük − 1) iki hata türünü eşit tartar; aynı veride seçilen kesim noktası iyimserdir ve başka bir veride doğrulanır.
  • Pozitif ve negatif kestirim değerleri hastalığın sıklığına bağlıdır; duyarlılık, özgüllük, olabilirlik oranları ve AUC bağlı değildir.

İçindekiler

İçindekiler

ROC analizi, sürekli bir test sonucunun ya da bir modelin verdiği olasılığın iki sınıfı (ör. hasta ve sağlıklı) ne kadar iyi ayırdığını, olası bütün kesim noktalarında birlikte inceleyen yöntemdir. ROC eğrisi her eşikte duyarlılığı 1 − özgüllüğe karşı çizer; eğri altındaki alan (AUC), rastgele seçilen bir pozitifin rastgele seçilen bir negatiften daha yüksek değer alma olasılığıdır.

Duyarlılık, özgüllük ve karmaşıklık matrisi gibi temel terimler makine öğrenmesinde sınıflandırma yazısında tanımlanmıştır; burada yalnız ROC için gereken formüller yinelenir. Burada ROC eğrisinin nasıl kurulduğu, AUC’nin nasıl yorumlandığı, kesim noktasının nasıl seçildiği ve analizin tanı testi çalışmalarında ve makine öğrenmesinde nasıl kullanıldığı ele alınır; sonda varsayımsal bir tanı verisiyle çözümlü bir örnek yer alır.

ROC analizi nedir?

ROC analizi, bir testin iki sınıfı ayırma gücünü tek bir eşiğe bağlanmadan, duyarlılık ile yanlış pozitif oranı arasındaki değiş tokuşu bütün eşiklerde izleyerek değerlendirir.

ROC, İngilizce “receiver operating characteristic” (alıcı işletim karakteristiği) teriminin kısaltmasıdır. Yöntem sinyal algılama kuramından gelir; tıpta tanı testlerinin, makine öğrenmesinde sınıflandırıcıların değerlendirilmesinde yaygınlaşmıştır (Fawcett, 2006).

Çıkış noktası şudur: Bir test ya da model çoğu zaman doğrudan “hasta” veya “sağlıklı” demez, sürekli bir değer üretir (bir kan değeri, bir ölçek puanı, bir olasılık). Sınıf, bu değer bir eşikle karşılaştırılarak atanır ve her eşik başka bir karmaşıklık matrisi verir.

Eşik düşürüldükçe daha çok pozitif yakalanır, ama daha çok negatif de yanlışlıkla pozitif sayılır. ROC analizi tek bir eşiğe bağlanmak yerine bu değiş tokuşun tamamını gösterir. Her eşik için iki oran hesaplanır:

Duyarlılık=DPDP+YN\text{Duyarlılık} = \frac{DP}{DP + YN}
1−O¨zgu¨llu¨k=YPYP+DN1 - \text{Özgüllük} = \frac{YP}{YP + DN}

Burada DP doğru pozitif, YN yanlış negatif, YP yanlış pozitif, DN doğru negatif sayısıdır. Birinci oran gerçek pozitiflerin yakalanan payı, ikincisi gerçek negatiflerden yanlış alarm verilenlerin payıdır (yanlış pozitif oranı).

ROC eğrisi nasıl çizilir?

  1. Bütün gözlemler test değerine göre büyükten küçüğe sıralanır.
  2. Gözlenen her farklı değer sırayla eşik alınır; değeri eşiğe eşit ya da eşikten büyük olan gözlem pozitif sayılır.
  3. Her eşikte duyarlılık ve 1 − özgüllük hesaplanır; yatay ekseni 1 − özgüllük, dikey ekseni duyarlılık olan düzleme bir nokta olarak konur.
  4. Noktalar birleştirilir. En yüksek eşiğin üstünde hiç kimse pozitif sayılmaz (0, 0 noktası); en düşük eşikte herkes pozitif sayılır (1, 1 noktası).

Hiçbir ayırt etme gücü olmayan bir test bu iki köşeyi birleştiren köşegen boyunca ilerler: her eşikte yakaladığı pozitif payı, yanlış alarm verdiği negatif payına eşittir. İki sınıfı kusursuz ayıran bir test ise sol üst köşeden, yani duyarlılığın 1, yanlış pozitif oranının 0 olduğu noktadan geçer. Eğri sol üst köşeye ne kadar yakınsa test o kadar iyi ayırt eder. Eğri yalnızca gözlemlerin sıralamasına bağlıdır: bütün test değerleri aynı artan dönüşümle (ör. logaritma) değiştirilirse eğri değişmez.

Eğri altındaki alan (AUC) ne anlama gelir?

Eğrinin altında kalan alan (area under the curve, AUC) bütün eğriyi 0 ile 1 arasında tek bir sayıyla özetler. Hanley ve McNeil (1982), bu alanın sezgisel bir anlamı olduğunu gösterir: AUC, rastgele seçilen bir pozitifin (hasta) rastgele seçilen bir negatiften (sağlıklı) daha yüksek test değeri alma olasılığıdır. Aynı alan, iki grubun test değerlerini karşılaştıran Mann-Whitney U testinin istatistiğinden hesaplanır:

AUC=Un1 n0\text{AUC} = \frac{U}{n_1 \, n_0}

Burada n1n_1 pozitiflerin, n0n_0 negatiflerin sayısı; U ise pozitifin negatiften yüksek değer aldığı pozitif–negatif çiftlerinin sayısıdır (eşit değerler yarım sayılır). AUC bu yüzden bir eşiğe bağlı değildir; testin iki grubu doğru sıralama başarısını ölçer. Değer şöyle okunur:

  • AUC = .50: Test şanstan iyi değildir; eğri köşegenin üzerindedir.
  • AUC = 1: Test iki grubu kusursuz ayırır.
  • AUC .50’nin altında: Test ters yönde çalışıyordur. Yüksek değerin mi düşük değerin mi pozitif sınıfı gösterdiği analizden önce belirtilir; hastalıkta düşen bir ölçümde yön yanlış kurulursa AUC .50’nin altında çıkar. Yön önceden kuramla yazılmışsa .50’nin altındaki AUC önce etiket ve veri hatası olarak aranır; yön veriye bakıldıktan sonra çevrilirse bu raporda söylenir, çünkü çevrilmiş AUC yön seçimi yüzünden iyimserdir.

AUC’nin iki sınırı vardır. Birincisi, bütün eşikleri eşit tartar; oysa uygulamada eğrinin çoğu zaman yalnızca bir bölgesi önemlidir (ör. tarama testinde yüksek duyarlılık bölgesi). Böyle bir durumda yalnızca ilgili bölgenin altındaki alan (kısmi AUC) da raporlanabilir.

İkincisi, AUC yalnızca sıralamayı ölçer: bir modelin verdiği olasılıkların gözlenen risklerle uyuşup uyuşmadığını, yani kalibrasyonu göstermez. Ayırt etme ve kalibrasyonun ayrı ayrı nasıl değerlendirildiği lojistik regresyon yazısında anlatılır.

AUC kaç olursa iyi sayılır?

Literatürde sık anılan kaba bir kılavuz vardır: Hosmer vd. (2013), lojistik regresyon modellerinin ayırt etme gücü için .70–.80 aralığını kabul edilebilir (acceptable), .80–.90 aralığını mükemmel (excellent), .90 ve üstünü olağanüstü (outstanding) sayan genel bir kural verir. Bu sınırlar bağlamdan bağımsız bir ölçüt değildir. Etki büyüklüğü için Cohen’in eşiklerinde olduğu gibi, aynı AUC bir alanda zayıf, başka bir alanda değerli olabilir:

  • Amaç: Ucuz ve zararsız bir tarama testinde orta düzeyde bir AUC yararlı olabilir; invaziv bir tedaviye karar veren bir testte çok yüksek bir AUC bile yetmeyebilir.
  • Karşılaştırma: AUC’nin anlamı, aynı soruda bugün kullanılan test ya da modelle karşılaştırıldığında ortaya çıkar. Yeni bir test, mevcut testten düşük bir AUC alıyorsa kılavuzun “mükemmel” (excellent) aralığına düşmesi onu tercih edilir kılmaz.
  • Belirsizlik: Az sayıda pozitifle kestirilen bir AUC’nin güven aralığı geniştir; nokta kestirimi tek başına bir kategoriye yerleştirilmez.
  • Fazla iyi sonuç: Benzer çalışmaların orta düzeyde ayırt etme bildirdiği bir soruda neredeyse kusursuz bir AUC, önce bir hata olarak incelenir; sık nedenlerinden biri veri sızıntısıdır.

AUC’nin güven aralığı nasıl hesaplanır? İki test nasıl karşılaştırılır?

AUC bir örneklem kestirimidir ve güven aralığıyla raporlanır. Hanley ve McNeil (1982), AUC’nin standart hatası için pozitif ve negatif sayılarına dayanan bir yaklaşım verir. DeLong vd. (1988) ise parametrik olmayan bir varyans kestirimi önerir; aralık bugün yaygın olarak bu yöntemle hesaplanır. Aralığın genişliğini toplam örneklemden çok, az olan sınıfın büyüklüğü belirler: 1.000 kişilik bir çalışmada yalnızca 15 hasta varsa AUC’nin belirsizliği büyük ölçüde bu 15 kişiye bağlıdır.

İki testi karşılaştırırken desen belirleyicidir. İki test aynı hastalara uygulanmışsa iki AUC birbiriyle ilişkilidir ve bağımsız iki örneklem gibi karşılaştırılamaz; DeLong vd. (1988) aynı olgulardan elde edilen bu ilişkili eğriler için parametrik olmayan bir karşılaştırma yöntemi geliştirmiştir. Farklı hasta gruplarında elde edilen iki eğri bağımsızdır ve ayrı bir yolla karşılaştırılır.

Karşılaştırma bütün eğri yerine belirli bir kesim noktasındaki duyarlılık ya da özgüllük üzerineyse, iki test aynı kişilerde McNemar testiyle karşılaştırılır, ama her ölçüt kendi alt grubunda: duyarlılık yalnız hastalarda, özgüllük yalnız sağlıklılarda ayrı bir tabloyla sınanır. Bütün kişileri tek tabloda toplamak duyarlılığı ya da özgüllüğü değil, genel pozitiflik oranını karşılaştırır.

Kesim noktası nasıl seçilir? Youden indeksi

ROC eğrisi bütün eşikleri gösterir, ama uygulamada test tek bir kesim noktasıyla kullanılır. En yaygın ölçüt Youden (1950) indeksidir:

J=Duyarlılık+O¨zgu¨llu¨k−1J = \text{Duyarlılık} + \text{Özgüllük} - 1

Köşegenin üstünde kalan bir test için J, 0 (şans düzeyi) ile 1 (kusursuz test) arasında değer alır; ROC düzleminde bir noktanın köşegenden dikey uzaklığıdır. Youden indeksine göre en iyi kesim noktası J’yi en büyük yapan eşiktir.

Sık kullanılan bir başka ölçüt, eğrinin sol üst köşeye en yakın noktasıdır. Perkins ve Schisterman (2006) bu iki ölçütün aynı kesim noktasını vermeyebileceğini gösterir; genel yanlış sınıflama bakımından tek en iyi kesim noktasını Youden indeksinin verdiğini ve köşeye uzaklık ölçütünün ona uyacak biçimde değiştirilebileceğini belirtir.

Youden indeksi duyarlılık ile özgüllüğü eşit tartar. Bu her zaman istenen şey değildir:

  • Tarama testi: Hastalığı kaçırmanın bedeli yüksekse yüksek duyarlılık hedeflenir; örneğin duyarlılığı önceden belirlenmiş bir düzeyin üstünde kalan eşikler arasından özgüllüğü en yüksek olan seçilir.
  • Doğrulama testi: Yanlış pozitifin bedeli yüksekse (gereksiz bir ameliyat, kaygı, ek tetkik) yüksek özgüllük hedeflenir.
  • Maliyete dayalı seçim: İki hata türünün göreli maliyeti ve hastalığın sıklığı biliniyorsa eşik, beklenen maliyeti en aza indirecek biçimde seçilir.

Dikkat

Hangi ölçüt kullanılırsa kullanılsın, aynı veride seçilen kesim noktası iyimserdir. Ewald (2006), kesim noktası verinin kendisine bakılarak seçildiğinde duyarlılık ya da özgüllüğün benzetimlerin bir bölümünde 5 yüzde puan yüksek kestirildiğini (ör. %50 sıklıktaki 100 kişilik çalışmalarda 20 benzetimin 6’sında) gösterir ve kesim noktasının önceden belirlenmesini, özellikle 50’den az hastalıklı olgu içeren çalışmalarda önerir. Kesim noktası ya önceden belirlenir ya da bir veride seçilip başka bir veride doğrulanır; tek bir veri varsa seçim, çapraz doğrulama gibi yeniden örnekleme yöntemleriyle sınanır.

ROC analizi tanı testinde ve makine öğrenmesinde nasıl kullanılır?

Tanı testi çalışmalarında test sonucu, hastalığın varlığını en iyi belirleyen bir referans standartla (ör. biyopsi, patoloji ya da uzun süreli izlem) karşılaştırılır. ROC analizi testin bütün ayırt etme gücünü gösterir; klinik kararı ise seçilen kesim noktasındaki ölçütler yönlendirir. Bu ölçütlerin bir kısmı hastalığın örneklemdeki ya da toplumdaki sıklığından (prevalans) etkilenir, bir kısmı etkilenmez:

ÖlçütNe söyler?Hastalığın sıklığından etkilenir mi?
Duyarlılık ve özgüllükHastaların ve sağlıklıların doğru sınıflanan payıHayır
Pozitif ve negatif kestirim değeri (PPV, NPV)Pozitif (negatif) sonuç alan birinin gerçekten hasta (sağlıklı) olma olasılığıEvet
Olabilirlik oranları (LR+, LR−)Sonucun hastalarda, sağlıklılara göre kaç kat sık görüldüğüHayır
Youden indeksi (J)Bir kesim noktasındaki toplam ayırt etmeHayır
ROC AUCBütün eşiklerde sıralama başarısıHayır
Ortalama kesinlik (PR AUC)Pozitif tahminlerin bütün eşiklerdeki isabetiEvet

Duyarlılık ve özgüllük hastalığın sıklığından matematiksel olarak etkilenmez; ama hasta yelpazesi değişirse (ör. hafif olgular ağırlık kazanırsa) onlar da değişebilir. Pozitif kestirim değeri, makine öğrenmesindeki kesinlik (precision) ile aynı orandır.

Makine öğrenmesinde ROC eğrisi, modelin hiç görmediği test verisindeki olasılıklardan çizilir ve modelleri eşikten bağımsız karşılaştırmak için kullanılır. Seyrek pozitif sınıfta ROC AUC iyi görünürken pozitif tahminlerin çoğu yanlış alarm olabilir; kesinlik–duyarlılık eğrisi bu durumda daha bilgilendiricidir (Saito ve Rehmsmeier, 2015). Dengesiz sınıflarda ölçütlerin karşılaştırması sınıflandırma yazısındadır. Eğitim verisinde ya da hazırlık adımları bütün veride yapılmış bir doğrulamada hesaplanan AUC iyimserdir.

Örnek: apandisit risk modelinde ROC analizi

Bir acil serviste karın ağrısıyla başvuran 60 hastanın kayıtları inceleniyor (varsayımsal veri). Her hasta için, başka bir hastanede daha önce geliştirilmiş bir risk modeli 0 ile 1 arasında bir apandisit olasılığı vermiş (olasilik sütunu). Kesin tanı ameliyat ve patolojiyle ya da izlemle konmuş; gercek sütununda 1 apandisiti, 0 apandisit olmadığını gösterir. Hastaların 20’sinde apandisit var.

Soru şu: Model apandisitli hastaları ötekilerden ne kadar iyi ayırıyor ve hangi olasılıktan itibaren bir hasta “yüksek riskli” sayılmalı?

Apandisit risk modeli: 60 hastanın kesin tanısı ve modelin verdiği olasılık (varsayımsal veri)
gercekolasilik
10.77
00.36
00.34
00.19
00.13
10.93
00.38
10.52
00.07
10.81
10.88
00.53

İlk 12 satır (toplam 60) · Bu örnekteki tüm sayılar NumPy 2.2.6 ile bağımsız olarak yeniden hesaplanır. Veriyi indirin (CSV)

Modelin ayırt etme gücü AUC = .89: rastgele seçilen apandisitli bir hasta, rastgele seçilen apandisit olmayan bir hastadan yaklaşık %89 olasılıkla daha yüksek bir risk alıyor. Başka bir deyişle, 20 × 40 = 800 olası hasta çiftinin yaklaşık %89’unda model sıralamayı doğru yapıyor. Bu değer Hosmer vd.‘nin (2013) kaba kılavuzunda “mükemmel” aralığa düşer; asıl soru ise modelin bugünkü klinik değerlendirmeden daha iyi ayırıp ayırmadığıdır.

Aynı olasılıklar beş farklı eşikle sınıflandırıldığında duyarlılık ile özgüllük el değiştiriyor. Son sütun, iki değerden hesaplanan Youden indeksidir:

Tablo 1

Beş eşikte modelin duyarlılığı, özgüllüğü ve Youden indeksi (60 hasta)

Eşik (olasılık)DuyarlılıkÖzgüllükYouden J
.30 ve üstü.95.60.55
.40 ve üstü.85.80.65
.50 ve üstü.75.85.60
.60 ve üstü.60.95.55
.70 ve üstü.451.00.45

Youden indeksi en yüksek değerini .40 eşiğinde alıyor (.85 + .80 − 1 = .65); gözlenen bütün olasılık değerleri tek tek eşik alındığında da en yüksek J bu eşikte çıkıyor. Varsayılan .50 eşiğine göre .40 eşiği iki apandisitli hastayı daha yakalıyor, buna karşılık iki hastayı daha yanlışlıkla yüksek riskli sayıyor; iki eşikte de doğruluk .82.

Doğruluğun aynı kalması, hangi hatanın yapıldığını göstermediği için tek başına yetersizdir. Tablo 2, .40 eşiğindeki karmaşıklık matrisini verir:

Tablo 2

Eşik .40’ta karmaşıklık matrisi (hasta sayısı)

Gerçek durumModel: yüksek riskModel: düşük risk
Gerçekte apandisit173
Gerçekte apandisit yok832

Bu eşikte yüksek riskli sayılan 25 hastanın 17’si gerçekten apandisitli: pozitif kestirim değeri .68. Düşük riskli sayılan 35 hastanın 32’si apandisitsiz: negatif kestirim değeri 32 / 35 ≈ .91. Olabilirlik oranları hastalığın sıklığından bağımsız bir özet verir:

LR+=.851−.80=4.25LR^{+} = \frac{.85}{1 - .80} = 4.25
LR−=1−.85.80≈0.19LR^{-} = \frac{1 - .85}{.80} \approx 0.19

Yüksek risk sonucu apandisitli hastalarda, apandisiti olmayanlara göre 4,25 kat daha sık görülüyor. Bu örnekte hastaların üçte biri apandisitli. Model apandisitin çok daha seyrek olduğu bir ortamda (ör. %5) aynı duyarlılık ve özgüllükle kullanılsaydı, pozitif kestirim değeri Bayes kuralıyla şöyle hesaplanırdı:

PPV=.85×.05.85×.05+.20×.95≈.18\text{PPV} = \frac{.85 \times .05}{.85 \times .05 + .20 \times .95} \approx .18

Duyarlılık ve özgüllük aynı kalsa da yüksek riskli sayılan her beş hastadan birinden azı apandisitli olurdu.

Bu sonuçlar okunurken iki sınır akılda tutulur. Birincisi, .40 eşiği aynı 60 hastada seçildi; bu eşikteki duyarlılık ve özgüllük bu yüzden iyimserdir ve eşik yeni bir hasta grubunda doğrulanmalıdır (Ewald, 2006). İkincisi, 20 apandisitli hastayla kestirilen AUC’nin güven aralığı geniştir. DeLong vd. (1988) yöntemiyle hesaplanan %95 güven aralığı .81 ile .98 arasındadır; aralık, kaba kılavuzun hem “mükemmel” hem “olağanüstü” bölgesine uzanır.

Tezde nasıl yazılır

Bir makalede AUC güven aralığıyla, duyarlılık ve özgüllük de oranlar için güven aralığıyla birlikte verilir. Rapor cümlesi şöyle kurulabilir: “Risk modelinin apandisiti ayırt etme gücü yüksekti (AUC = .89). Youden indeksine göre seçilen .40 kesim noktasında duyarlılık .85, özgüllük .80 idi.” Gerçek bir raporda bu cümleye AUC’nin %95 güven aralığı ve kesim noktasının hangi veride seçildiği de eklenir.

ROC analizinde sık yapılan hatalar nelerdir?

ROC analizindeki sık hatalar AUC’nin yorumunda, kesim noktasının seçiminde, eğrilerin karşılaştırılmasında ve sonuçların başka bir ortama taşınmasında ortaya çıkar.

  • AUC’yi bağlamsız bir etiketle yorumlamak. “.80 üstü mükemmeldir” demek yerine AUC, aynı soruda kullanılan testlerle ve güven aralığıyla birlikte yorumlanır.
  • Kesim noktasını aynı veride seçip doğrulanmış gibi raporlamak. Seçilen eşiğin duyarlılık ve özgüllüğü iyimserdir; ayrı bir veride ya da yeniden örneklemeyle sınanır.
  • Yönü denetlemeden yorumlamak. AUC .50’nin altında çıkıyorsa önce pozitif sınıfın ve test yönünün doğru tanımlandığına bakılır.
  • Aynı hastalardaki iki AUC’yi bağımsız örneklemler gibi karşılaştırmak. İlişkili eğriler için DeLong vd. (1988) yöntemi kullanılır.
  • Kestirim değerlerini başka bir topluma taşımak. Pozitif ve negatif kestirim değerleri hastalığın sıklığına bağlıdır; başka bir ortamda yeniden hesaplanır.
  • Seyrek pozitif sınıfta yalnızca ROC AUC raporlamak. Kesinlik–duyarlılık eğrisi ve seçilen eşikteki karmaşıklık matrisi de verilir.

Sık sorulan sorular

ROC eğrisi ile AUC arasındaki fark nedir?

ROC eğrisi her eşikteki duyarlılık ve yanlış pozitif oranını gösteren bir grafiktir; AUC bu eğrinin altındaki alanı tek bir sayıyla özetler. Eğri hangi eşikte ne kazanılıp ne kaybedildiğini gösterir, AUC ise bütün eşiklerdeki sıralama başarısının özetidir.

AUC ile doğruluk arasındaki fark nedir?

Doğruluk tek bir eşikte doğru sınıflanan gözlemlerin oranıdır ve sınıf oranından etkilenir. AUC hiçbir eşiğe bağlı değildir ve sınıf oranından etkilenmez. Bir model yüksek AUC alırken kötü seçilmiş bir eşikte düşük doğruluk gösterebilir.

Kesim noktası her zaman Youden indeksiyle mi seçilmeli?

Hayır. Youden indeksi duyarlılık ile özgüllüğü eşit tartar. Hastalığı kaçırmanın bedeli yüksekse duyarlılık, yanlış pozitifin bedeli yüksekse özgüllük öncelenir; iki hatanın maliyeti biliniyorsa eşik beklenen maliyete göre seçilir.

Yalnızca pozitif ya da negatif sonuç veren bir testte ROC analizi yapılır mı?

İkili bir test tek bir kesim noktası taşır ve ROC düzleminde tek bir nokta verir. Bu noktadan çizilen “alan”, duyarlılık ile özgüllüğün ortalamasına (dengeli doğruluk) eşittir ve bir ROC analizi sayılmaz; böyle bir test duyarlılık, özgüllük ve olabilirlik oranlarıyla raporlanır. Beş basamaklı bir uzman derecelendirmesi gibi sıralı sonuçlarda ise birkaç noktadan oluşan bir eğri çizilebilir.

ROC analizi için kaç hasta gerekir?

Sabit bir sayı yoktur. Kestirimin kesinliği en çok az olan sınıfın büyüklüğüne ve beklenen AUC’ye bağlıdır. Hanley ve McNeil (1982), AUC’nin standart hatasını pozitif ve negatif sayılarından hesaplamayı gösterir; planlamada istenen güven aralığı genişliği bu standart hatadan yola çıkarak belirlenebilir.

ROC analizi hangi programlarla yapılır?

R’de pROC paketi, SPSS’in ROC eğrisi menüsü ve tanı testlerine yönelik MedCalc gibi programlar ROC eğrisini, AUC’yi ve güven aralığını hesaplar; Python’da scikit-learn eğriyi ve AUC’yi verir, güven aralığı için ayrıca bir yöntem (ör. önyükleme) gerekir. İki ilişkili eğrinin DeLong vd. (1988) yöntemiyle karşılaştırılmasını sunan programlar da vardır.

  • #roc-analizi
  • #tani-testi
  • #model-degerlendirme
  • #siniflandirma

Bilimsel inceleme

Doç. Dr. Hasan Yıldırım

Karamanoğlu Mehmetbey Üniversitesi Öğretim Üyesi

İnceleme tarihi:

Makine öğrenmesi ve biyoistatistik alanlarında çalışır; sağlık, fen ve sosyal bilimlerde disiplinlerarası araştırmalarda istatistik danışmanlığı yürütür.

Kaynakça

  1. DeLong, E. R., DeLong, D. M., & Clarke-Pearson, D. L. (1988). Comparing the areas under two or more correlated receiver operating characteristic curves: A nonparametric approach. Biometrics, 44(3), 837–845.
  2. Ewald, B. (2006). Post hoc choice of cut points introduced bias to diagnostic research. Journal of Clinical Epidemiology, 59(8), 798–801.
  3. Fawcett, T. (2006). An introduction to ROC analysis. Pattern Recognition Letters, 27(8), 861–874.
  4. Hanley, J. A., & McNeil, B. J. (1982). The meaning and use of the area under a receiver operating characteristic (ROC) curve. Radiology, 143(1), 29–36.
  5. Hosmer, D. W., Lemeshow, S., & Sturdivant, R. X. (2013). Applied logistic regression (3rd ed.). Wiley.
  6. Perkins, N. J., & Schisterman, E. F. (2006). The inconsistency of "optimal" cutpoints obtained using two criteria based on the receiver operating characteristic curve. American Journal of Epidemiology, 163(7), 670–675.
  7. Saito, T., & Rehmsmeier, M. (2015). The precision-recall plot is more informative than the ROC plot when evaluating binary classifiers on imbalanced datasets. PLOS ONE, 10(3), e0118432.
  8. Youden, W. J. (1950). Index for rating diagnostic tests. Cancer, 3(1), 32–35.

Kendi verinizde görün

Kavramı kendi verinizde görmek isterseniz Basira’yı ücretsiz deneyebilirsiniz. Basira’yı deneyin

Kavramı kendi verinizde görmek isterseniz panelinize dönebilirsiniz. Panele git

İlgili yazılar