Kesme Puanı Nedir? ROC ile Nasıl Belirlenir?

Basira Editör Ekibi · · 10 dk okuma · Bilimsel inceleme: Doç. Dr. Hasan Yıldırım

Aa Yazı boyutu
Yazı boyutu

Anahtar çıkarımlar

  • Kesme puanı, sürekli bir ölçek puanını karar kategorilerine ayıran eşiktir; tarama ve tanı amaçlı ölçeklerde ölçek puanı bir altın standartla karşılaştırılarak ROC analiziyle belirlenir.
  • Her olası kesme puanı bir duyarlılık-özgüllük çifti verir; Youden indeksi ikisine eşit ağırlık verir, ama taramada kaçırılan vakanın bedeli büyükse daha düşük bir kesme seçilebilir.
  • Pozitif ve negatif kestirim değerleri yaygınlığa bağlıdır: aynı duyarlılık ve özgüllük, hastalığın seyrek olduğu bir toplulukta çok daha düşük bir pozitif kestirim değeri verir.
  • Veriden seçilen 'en iyi' kesme puanı iyimserdir ve örneklemden örnekleme kayar; güven aralığıyla ve mümkünse ayrı bir doğrulama örnekleminde raporlanır.

İçindekiler

İçindekiler

Kesme puanı, sürekli bir ölçek puanını iki ya da daha çok karar kategorisine (ör. “tarama pozitif” ve “tarama negatif”) ayıran eşik değerdir. Tarama ve tanı amaçlı ölçeklerde kesme puanı, ölçek puanı bir altın standartla (ör. klinik görüşmeyle konan tanı) karşılaştırılarak ROC analiziyle belirlenir; seçim, duyarlılık ile özgüllük arasındaki dengeye ve yanlış kararların bedeline dayanır.

Kesme puanı bir ölçeğin ölçüt geçerliği kanıtının parçasıdır: puanın dışarıdan bir göstergeyle ne kadar uyuştuğunu gösterir. Geçerlik kanıtlarının bütünü geçerlik ve güvenirlik ve yapı geçerliği yazılarında, analiz sürecinin bütünü tez istatistik analizi yol haritası yazısında anlatılır.

Kesme puanı nedir?

Kesme puanı (cut-off score), puanın kendisinden bir karar üretir: kesme puanına eşit ya da ondan yüksek puan alan kişi “pozitif” (ör. depresyon açısından ileri değerlendirme önerilir), altında kalan “negatif” sayılır. Bu karar iki türlü yanlış olabilir.

Hasta olan biri negatif çıkarsa yanlış negatif, hasta olmayan biri pozitif çıkarsa yanlış pozitif oluşur. Kesme puanını yükseltmek yanlış pozitifleri azaltır ama yanlış negatifleri artırır; düşürmek bunun tersini yapar. Tek bir kesme puanı bu iki hatayı aynı anda sıfırlayamaz.

Altın standarda göre dört sonuç bir 2×2 tabloda özetlenir:

Ölçek kararıAltın standart: hastaAltın standart: hasta değil
Pozitif (puan ≥ kesme)Doğru pozitif (DP)Yanlış pozitif (YP)
Negatif (puan kesmenin altında)Yanlış negatif (YN)Doğru negatif (DN)

Duyarlılık hastaların ne kadarının yakalandığını, özgüllük hasta olmayanların ne kadarının doğru elendiğini gösterir:

Duyarlılık=DPDP+YN,O¨zgu¨llu¨k=DNDN+YP\text{Duyarlılık} = \frac{\text{DP}}{\text{DP} + \text{YN}}, \qquad \text{Özgüllük} = \frac{\text{DN}}{\text{DN} + \text{YP}}

Kesme puanı ölçeğin değil, ölçeğin belirli bir amaçla belirli bir toplulukta kullanımının özelliğidir. Bir depresyon ölçeğinin birinci basamakta tarama için önerilen kesme puanı, psikiyatri polikliniğinde ağır olguları ayırmak için uygun olmayabilir. Bir ölçeğin yayımlanmış kesme puanı, ölçeğin el kitabında ya da uyarlama çalışmasında belirli bir örneklemde belirlenmiştir; tezde kullanılacak kesme puanı o kaynaktan, kaynağın örneklemi ve yöntemiyle birlikte alınır.

Kesme puanı hangi yöntemlerle belirlenir?

Kesme puanının nasıl belirleneceği, puanın hangi karara temel olacağına bağlıdır.

YöntemNeye dayanır?Ne zaman uygun?Sınırı
Ölçüte dayalı (ROC)Ölçek puanının bir altın standart tanıyla karşılaştırılmasıTarama ve tanı amaçlı ölçeklerAltın standart gerekir; sonuç örneklemin ve yaygınlığın özelliklerine bağlıdır
Norma dayalıBir referans örneklemdeki dağılım (ör. en yüksek %10’luk dilim, ortalamanın 1 SS üstü)Bireyi bir referans gruba göre konumlandırmakBir durumun varlığını değil, göreli konumu söyler
Uzman yargısına dayalı standart belirlemeUzmanların madde ya da kişi düzeyindeki yargıları (ör. Angoff, Bookmark; Cizek ve Bunch, 2007)Başarı ve yeterlik sınavlarında “geçti-kaldı” kararıSonuç, yargıda bulunan uzman panelinin kim olduğuna bağlıdır

Bu yazı ilk yolu, yani tarama ve tanı amaçlı ölçeklerde ROC analiziyle kesme puanı belirlemeyi anlatır. Norma dayalı bir eşik, örneğin “en yüksek puanlı %10”, tek başına kimin risk altında olduğunu göstermez: aynı eşik, durumun yaygın olduğu bir toplulukta birçok vakayı kaçırır, seyrek olduğu bir toplulukta ise birçok kişiyi gereksiz yere işaretler.

ROC eğrisi ve Youden indeksi kesme puanını nasıl verir?

ROC eğrisi, olası her kesme puanı için duyarlılığı dikey eksene, 1 − özgüllüğü yatay eksene koyarak çizilen eğridir. Her nokta bir kesme puanıdır; eğri sol üst köşeye ne kadar yaklaşırsa ölçek iki grubu o kadar iyi ayırır.

Eğri altındaki alan (AUC), ölçeğin bütün kesme puanları boyunca ayırma gücünün özetidir: rastgele seçilen bir hastanın, rastgele seçilen bir hasta olmayandan daha yüksek puan alma olasılığıdır (Hanley ve McNeil, 1982). AUC = .50 ölçeğin şanstan iyi ayırmadığını, 1 kusursuz ayırmayı gösterir. Bu olasılık, Mann-Whitney U testi yazısındaki olasılık üstünlüğüyle aynı niceliktir.

AUC’nin güven aralığı DeLong vd.‘nin (1988) yöntemiyle hesaplanabilir. AUC bir kesme puanı vermez; yalnız ölçeğin kesme puanı aramaya değer olup olmadığını söyler.

Kesme puanını seçmek için kullanılan ölçütlerden biri Youden indeksidir (Youden, 1950):

J=Duyarlılık+O¨zgu¨llu¨k−1J = \text{Duyarlılık} + \text{Özgüllük} - 1

J’nin en büyük olduğu kesme puanı, duyarlılık ile özgüllüğe eşit ağırlık verildiğinde en iyi noktadır. Öteki bir ölçüt, ROC eğrisinin sol üst köşeye, yani (0, 1) noktasına en yakın noktasıdır. Perkins ve Schisterman (2006), bu iki ölçütün bazı durumlarda aynı, bazı durumlarda farklı kesme puanları seçtiğini ve toplam yanlış sınıflama açısından (eşit ağırlık varsayımıyla) tutarlı olanın Youden indeksi olduğunu gösterir.

Eşit ağırlık her zaman doğru değildir.

  • Kaçırılan bir vakanın bedeli büyükse (ör. intihar riski taraması), duyarlılığı öne alan daha düşük bir kesme puanı seçilir ve pozitif çıkanlar ikinci bir değerlendirmeye yönlendirilir.
  • Yanlış pozitifin bedeli büyükse (ör. pahalı ya da yan etkili bir tedaviye yönlendirme), özgüllüğü öne alan daha yüksek bir kesme seçilir.

Bu tercih veri toplanmadan önce yazılır. Ölçeğin seçilen kesme puanı çevresinde ne kadar kesin ölçtüğü, madde tepki kuramı yazısında anlatılan bilgi fonksiyonuyla incelenebilir.

ROC eğrisinin makine öğrenmesindeki kullanımı ve öbür değerlendirme ölçütleri makine öğrenmesinde sınıflandırma yazısında anlatılır.

Duyarlılık ve özgüllük neden yaygınlıkla birlikte okunur?

Duyarlılık ve özgüllük, sonuca altın standart (referans standart) tarafından bakar: “hasta olanların yüzde kaçı pozitif çıktı?”. Klinikte ve sahada sorulan soru ise tersidir: “pozitif çıkan bu kişinin hasta olma olasılığı nedir?”. Bu soruyu pozitif kestirim değeri (PKD; İngilizce kısaltmasıyla PPV), “negatif çıkanın hasta olmama olasılığı nedir?” sorusunu negatif kestirim değeri (NKD; NPV) yanıtlar. Kestirim değerleri durumun toplulukta ne kadar yaygın olduğuna, yani yaygınlığa (π\pi) bağlıdır (Altman ve Bland, 1994):

PKD=Duyarlılık×πDuyarlılık×π+(1−O¨zgu¨llu¨k)×(1−π)\text{PKD} = \frac{\text{Duyarlılık} \times \pi}{\text{Duyarlılık} \times \pi + (1 - \text{Özgüllük}) \times (1 - \pi)}

Yaygınlık düştükçe yanlış pozitifler doğru pozitiflere göre çoğalır ve PKD düşer.

Dikkat

Bir ölçeğin klinik bir örneklemde bulunan PKD’si, aynı ölçek toplum taramasında kullanıldığında geçerli değildir.

Duyarlılık ve özgüllük de yaygınlıktan tümüyle bağımsız değildir. Leeflang vd. (2013), 23 meta-analizdeki 416 çalışmada yaygınlık ile duyarlılık ve özgüllük arasındaki ilişkiyi inceledi; özgüllük yaygınlık arttıkça düşme eğilimi gösterdi, duyarlılıkta sistematik bir etki görülmedi. Yazarlar bunu, yaygınlığı da etkileyen hasta yelpazesi gibi mekanizmalara bağlar. Pratik sonuç şudur: kesme puanının belirlendiği örneklem, puanın kullanılacağı topluluğa benzemelidir.

Örnek: sentetik bir tarama verisinde ROC ile kesme puanı

Aşağıdaki sonuçlar, 800 katılımcılı sentetik (yapay olarak üretilmiş) bir sağlık verisinden R 4.5.1 ile hesaplandı. Veri setinde ölçek puanı yerine 14,3 ile 99,2 arasında değişen sürekli bir tanı göstergesi ve bir altın standart tanı bulunur; ROC ile kesme puanı belirlemenin mantığı bir ölçek puanı için de aynıdır. Katılımcıların 428’i hasta, 372’si hasta değildir (yaygınlık %53,5). Hasta grubunun ortalaması (M = 61.90, SS = 11.58), hasta olmayanlarınkinden (M = 47.15, SS = 11.85) yüksektir; bu yüzden kural “puan kesme puanına eşit ya da yüksekse pozitif” biçimindedir.

Ayırma gücü. AUC = .816, %95 GA [.786, .845] (DeLong yöntemi). Rastgele seçilen bir hastanın göstergesi, rastgele seçilen bir hasta olmayanınkinden yaklaşık %82 olasılıkla yüksektir.

Youden noktası. J en büyük değerini (.496) 54,3 ve üstü kuralında aldı. Bu kesme puanında 428 hastanın 326’sı pozitif çıktı (102 yanlış negatif), 372 hasta olmayanın 273’ü negatif çıktı (99 yanlış pozitif): duyarlılık %76,2 (%95 GA, Wilson yöntemiyle: %71,9 ile %80,0), özgüllük %73,4 (%95 GA: %68,7 ile %77,6).

Dikkat

Bu aralıklar eşiğin aynı veriden seçilmiş olmasının belirsizliğini içermez.

(0, 1) noktasına en yakın kesme puanı da bu veride aynı noktaya düştü. “En iyi” nokta keskin değildir: dört kesme puanının (54,1, 54,3, 54,5 ve 54,6) J değeri en büyük değerden .005’ten az farklıdır.

Tarama amaçlı seçim. Kaçırılan vakanın bedeli büyük sayılır ve duyarlılığın en az %90 olması istenirse, bu koşulu sağlayan en yüksek kesme puanı 46,7’dir: duyarlılık %90,4 (%95 GA: %87,3 ile %92,9), ama özgüllük %49,7’ye (%95 GA: %44,7 ile %54,8) düşer; hasta olmayanların yaklaşık yarısı pozitif çıkar. İki kesme puanının ölçütleri Tablo 1’de karşılaştırılır.

Tablo 1

İki kesme puanında duyarlılık, özgüllük, Youden indeksi ve kestirim değerleri (n = 800)

Kesme puanıDuyarlılık (%)Özgüllük (%)JPKD (%)NKD (%)
≥ 54.3 (Youden)76.273.4.49676.772.8
≥ 46.7 (duyarlılık ≥ %90)90.449.7.40267.481.9

Not. PKD ve NKD örneklemin yaygınlığında (%53,5) hesaplanmıştır.

Yaygınlığın etkisi. Youden noktasının duyarlılık ve özgüllüğü değişmeden kalsa bile, kestirim değerleri yaygınlıkla değişir. Örneklemin yaygınlığında (%53,5) PKD %76,7’dir; aynı ölçek yaygınlığın %5 olduğu bir toplulukta kullanılsaydı PKD %13,1’e, %1 olduğu bir toplulukta %2,8’e düşerdi. Yani yaygınlığın %5 olduğu bir toplulukta pozitif çıkan yaklaşık her sekiz kişiden yalnız biri gerçekten hasta olurdu.

NKD ise aynı koşullarda %98,3 ve %99,7’ye çıkar: seyrek bir durumda negatif sonuç güven verir, pozitif sonuç ise ikinci bir değerlendirme ister.

Veriden seçilen kesme puanı neden iyimserdir?

Youden indeksinin en büyük olduğu nokta, o örneklemin rastlantısal dalgalanmalarına da uyar.

Dikkat

Aynı veride seçilip aynı veride raporlanan duyarlılık ve özgüllük, bu yüzden ölçeğin yeni bir örneklemdeki başarısından iyimser çıkar.

Leeflang vd. (2008), bu yanlılığın örneklem küçüldükçe büyüdüğünü gösterdi: gerçek duyarlılık ve özgüllüğün ikisi de %84 olduğunda, veriden seçilen kesme puanıyla 40 kişilik çalışmalarda yaklaşık %90, 200 kişilik çalışmalarda %86 kestirildi. Ewald (2006), benzetimlerde veriye dayalı kesme puanlarının testin başarısını abarttığını bildirdi ve önceden belirlenmiş kesme puanlarının özellikle az sayıda vakalı çalışmalarda yanlılığı azaltacağını önerdi.

Aynı sentetik veride seçilen noktanın hem kararsızlığı hem iyimserliği görülebilir. Veriden 2.000 bootstrap örneklemi çekilip (R, tohum 2026) her birinde Youden noktası yeniden arandığında, seçilen kesme puanı 65 farklı değer aldı; ortanca 54,1, %95’lik aralık 50,8 ile 59,3 arasındaydı. En sık seçilen iki değer 54,3 (454 kez) ve 51,1 (330 kez) oldu.

İyimserliği görmek için veri rastgele ikiye bölündü (tohum 2026). Geliştirme yarısında (n = 400) seçilen kesme puanı 54,4’tü ve o yarıda J = .519 verdi; aynı kesme puanı doğrulama yarısında (n = 400) J = .458 verdi.

500 rastgele bölmede (tohum 2026) geliştirme yarısındaki J, doğrulama yarısındakinden ortalama .033 yüksek çıktı. Bu fark yarım örneklere (n = 400) aittir; tam örnekte (800 kişi, 428 vaka) iyimserliğin bundan küçük olması beklenir. Örneklem küçüldükçe iyimserlik büyür (Leeflang vd., 2008).

Bu yanlılığa karşı üç önlem alınır:

  • Eşiği önceden belirlemek. Ölçeğin el kitabında ya da önceki bir çalışmada önerilmiş bir kesme puanı varsa, o puanın kendi örnekleminizdeki duyarlılık ve özgüllüğü raporlanır; veriden yeni bir “en iyi” nokta aranmaz.
  • Ayrı bir doğrulama örneklemi. Kesme puanı bir örneklemde seçilir, başka bir örneklemde sınanır. Tek örneklemde çapraz geçerleme ya da bootstrap ile iyimserlik kestirilebilir.
  • Belirsizliği raporlamak. Duyarlılık ve özgüllük güven aralıklarıyla, seçilen kesme puanı da mümkünse bootstrap aralığıyla verilir.

Kesme puanı çalışması nasıl raporlanır?

Tanısal doğruluk çalışmalarının raporlanması için STARD 2015 kontrol listesi hazırlanmıştır (Bossuyt vd., 2015). Bir ölçek kesme puanı çalışmasında en az şunlar yazılır:

BilgiNeden gerekir?
Örneklem ve nasıl seçildiği, vaka sayısı ve yaygınlıkKestirim değerleri ve olası yanlılık buna bağlıdır
Altın standardın ne olduğu ve ölçek puanından bağımsız konup konmadığıSTARD 2015 bunu ayrı bir madde olarak ister (madde 13b; Bossuyt vd., 2015); tanıyı koyan kişi puanı biliyorsa iki ölçüm bağımsız değildir
Kesme puanının önceden mi belirlendiği, veriden mi seçildiği; seçim ölçütüVeriye dayalı seçim iyimserdir
AUC ve %95 güven aralığıÖlçeğin genel ayırma gücü
Seçilen kesme puanında 2×2 tablo, duyarlılık, özgüllük ve güven aralıklarıOkurun kendi yaygınlığıyla yeniden hesaplayabilmesi için
PKD ve NKD ile hesaplandıkları yaygınlıkKestirim değerleri yaygınlığa bağlıdır

Ölçek puanının nasıl hesaplandığı (ters maddeler, toplam ya da ortalama puan) da raporda yer alır; çünkü kesme puanı yalnız aynı puanlama kuralıyla anlamlıdır. Puanlamanın adımları ters madde kodlama yazısındadır. Bulguların APA 7 biçimi APA 7’ye göre istatistik raporlama yazısında anlatılır.

Kesme puanı çalışmasında sık yapılan hatalar nelerdir?

Aşağıdaki hatalar eşiğin seçiminde, başka bir topluluğa taşınmasında ve sonuçların raporlanmasında ortaya çıkabilir.

  • Uyarlanan ölçekte özgün eşiği doğrudan kullanmak. Başka bir dilde ve toplulukta belirlenmiş kesme puanı, uyarlanan ölçekte yeniden sınanmadan kullanılmaz; ölçek uyarlama sürecinde ölçüt kanıtı ayrıca toplanır.
  • Eşiği aynı veride seçip aynı veride raporlamak ve bunu belirtmemek. Okur, duyarlılık ve özgüllüğün iyimser olduğunu bilmelidir.
  • Yalnız AUC’yi raporlamak. AUC yüksek bir ölçekte bile seçilen kesme puanının duyarlılığı amaç için yetersiz olabilir.
  • PKD’yi yaygınlıktan bağımsız sanmak. Klinik örneklemdeki PKD, toplum taramasına taşınmaz.
  • Sürekli puanı ikiye bölüp araştırmanın bütün analizlerini o iki grupla yapmak. Kesme puanı birey hakkında karar içindir; ilişki ve fark analizlerinde sürekli puanı ikiye bölmek bilgi kaybettirir.
  • Altın standardı ölçek puanını bilerek koymak. Tanıyı koyan kişi ölçek puanını görüyorsa iki ölçüm bağımsız değildir.

Sık sorulan sorular

Kesme puanı ile ROC analizi arasındaki ilişki nedir?

ROC analizi, olası bütün kesme puanlarının duyarlılık ve özgüllüğünü birlikte gösteren yöntemdir; kesme puanı bu eğri üzerinde seçilen tek bir noktadır. ROC analizi seçimi kolaylaştırır, ama hangi noktanın seçileceğine yanlış kararların bedeli karar verir.

Youden indeksi her zaman en iyi kesme puanını mı verir?

Youden indeksi, duyarlılık ile özgüllüğe eşit ağırlık verildiğinde en iyi noktayı verir. Kaçırılan vakanın ya da yanlış alarmın bedeli belirgin biçimde büyükse, ağırlıklar değiştirilir ya da duyarlılık için önceden belirlenmiş bir alt sınırı (ör. en az %90) sağlayan kesme puanı seçilir.

AUC kaç olmalı?

AUC için her alanda geçerli tek bir sınır yoktur. AUC = .50 şans düzeyidir; yeterli değer, ölçeğin amacına ve karşılaştırıldığı mevcut araçlara göre değerlendirilir. AUC güven aralığıyla raporlanır ve seçilen kesme puanının duyarlılık ve özgüllüğüyle birlikte okunur.

Uyarlanan bir ölçekte özgün kesme puanı kullanılabilir mi?

Uyarlanan bir ölçekte özgün kesme puanı, yeni dil ve toplulukta sınanmadan kullanılmaz. Uyarlama çalışmasında bir altın standart toplanabiliyorsa kesme puanının duyarlılık ve özgüllüğü yeniden hesaplanır; toplanamıyorsa kesme puanının özgün örneklemden alındığı sınırlılık olarak yazılır.

Kesme puanı belirlemek için kaç katılımcı gerekir?

Kesme puanı çalışmasında belirleyici olan toplam katılımcı sayısından çok vaka sayısıdır, çünkü duyarlılık yalnız vakalarda hesaplanır. Duyarlılığın güven aralığının istenen genişliği ve beklenen yaygınlık örneklemi belirler; küçük örneklemli ve az vakalı çalışmalarda veriden seçilen kesme puanının iyimserliği de büyür (Leeflang vd., 2008; Ewald, 2006).

  • #kesme-puani
  • #roc-analizi
  • #psikometri
  • #gecerlik
  • #olcek-gelistirme

Bilimsel inceleme

Doç. Dr. Hasan Yıldırım

Karamanoğlu Mehmetbey Üniversitesi Öğretim Üyesi

İnceleme tarihi:

Makine öğrenmesi ve biyoistatistik alanlarında çalışır; sağlık, fen ve sosyal bilimlerde disiplinlerarası araştırmalarda istatistik danışmanlığı yürütür.

Kaynakça

  1. Altman, D. G., & Bland, J. M. (1994). Diagnostic tests 2: Predictive values. BMJ, 309(6947), 102.
  2. Bossuyt, P. M., Reitsma, J. B., Bruns, D. E., Gatsonis, C. A., Glasziou, P. P., Irwig, L., Lijmer, J. G., Moher, D., Rennie, D., de Vet, H. C. W., Kressel, H. Y., Rifai, N., Golub, R. M., Altman, D. G., Hooft, L., Korevaar, D. A., & Cohen, J. F. (2015). STARD 2015: An updated list of essential items for reporting diagnostic accuracy studies. BMJ, 351, h5527.
  3. Cizek, G. J., & Bunch, M. B. (2007). Standard setting: A guide to establishing and evaluating performance standards on tests. Sage.
  4. DeLong, E. R., DeLong, D. M., & Clarke-Pearson, D. L. (1988). Comparing the areas under two or more correlated receiver operating characteristic curves: A nonparametric approach. Biometrics, 44(3), 837–845.
  5. Ewald, B. (2006). Post hoc choice of cut points introduced bias to diagnostic research. Journal of Clinical Epidemiology, 59(8), 798–801.
  6. Hanley, J. A., & McNeil, B. J. (1982). The meaning and use of the area under a receiver operating characteristic (ROC) curve. Radiology, 143(1), 29–36.
  7. Leeflang, M. M. G., Moons, K. G. M., Reitsma, J. B., & Zwinderman, A. H. (2008). Bias in sensitivity and specificity caused by data-driven selection of optimal cutoff values: Mechanisms, magnitude, and solutions. Clinical Chemistry, 54(4), 729–737.
  8. Leeflang, M. M. G., Rutjes, A. W. S., Reitsma, J. B., Hooft, L., & Bossuyt, P. M. M. (2013). Variation of a test's sensitivity and specificity with disease prevalence. CMAJ, 185(11), E537–E544.
  9. Perkins, N. J., & Schisterman, E. F. (2006). The inconsistency of "optimal" cutpoints obtained using two criteria based on the receiver operating characteristic curve. American Journal of Epidemiology, 163(7), 670–675.
  10. Youden, W. J. (1950). Index for rating diagnostic tests. Cancer, 3(1), 32–35.

Kendi verinizde görün

Kavramı kendi verinizde görmek isterseniz Basira’yı ücretsiz deneyebilirsiniz. Basira’yı deneyin

Kavramı kendi verinizde görmek isterseniz panelinize dönebilirsiniz. Panele git

İlgili yazılar