Eksik Veri Türleri

Selamlar bugün konuşacağımız konu eksik veri türleri. Veri biliminde eksik veri türleri gerçek hayat problemlerinde çokça karşılaştığımız bir durumdur. Peki bu eksik veriler neden olur?

https://pixabay.com/photos/puzzle-missing-particle-last-piece-654963/

Elimizde bulunan veri türlerinin farklılığına göre toplanma biçimleri de değişir. Örneğin, elimizde veri bir anket şeklinde toplanmış olabilir ya da teknoloji firmalarının uygulamalar üzerinden yıllarca arka planda biriktirdiği olabilir. Örneğini verdiğimiz toplama işlemlerinde eksik veri bulmak çok alışılmış bir durumdur bunun nedeni yıllarca süren işlemler sonrasında verilerin yitip gidebilmesi.

Eksik veri türlerini incelediğimizde 3 ana kategori karşımıza çıkıyor.

Tamamen Rastgele Eksik Veri — Missing Completely at Random (MCAR)

Verinin neden eksik olduğu tamamen rastgele olmasından ve veri kümesindeki diğer hiçbir değişkenle ilişiği yoktur. Örneğin, bir anketin belirli sorularına cevap vermeyi reddeden kişilerin seçimi tamamen rastgele ise bu durum MCAR’a bir örnektir.

Bir hastane veri tabanında, bazı hastaların yaşları kaydedilmemiş olabilir. Bu, yaş bilgisinin kaydedilmemesinin hastanın cinsiyeti, hastalığı veya diğer demografik özellikleri ile ilişkili olmadığı durumlarda MCAR olarak kabul edilir.

Bu durumun veri setimiz üzerinde herhangi bir etkisi yoktur. sadece istatistiksel gücü zayıflatır. bu tarz verilerin bulunması halinde eksik değerlerin atılması veya ortalama/medyan gibi basit doldurma teknikleri ile doldurulması bir sorun teşkil etmez.

Rastgele Eksik Veri — Missing at Random (MAR)

Verideki değerlerin eksik olması o değişkenin kendi gizli değeriyle ilgili değildir. Veri setimizde halihazırda var olan ve gözlemlediğimiz başka bir değişkenle (sütunla) doğrudan ilişkilidir.

Elimizde kullanıcıların finansal geçmişini içeren bir veri seti olsun ve kredi_skoru (credit_score) sütununda ciddi oranda eksik veri olduğunu fark edelim.

Eğer kullanıcıların başvuru yaptığı platformu gösteren basvuru_kanali (app_channel, web, branch) sütununa bakarsak kredi skoru eksik olan kullanıcıların neredeyse tamamı sisteme “Mobil Uygulama — Hızlı Başvuru” seçeneğiyle dahil olmuş kişiler. Banka, mobil uygulamadan yapılan anlık ve düşük bütçeli işlemler için harici kurumlardan kredi skoru sorgulaması yapmıyor (süreç hızlı ilerlesin diye).

Eksiklik, o kullanıcının kredi skorunun çok kötü olmasından (yani değerin kendisinden) kaynaklanmıyor. Eksikliğin tek sebebi, veri setinde açıkça gördüğümüz basvuru_kanali sütunudur. Başvuru kanalının “Mobil” olduğunu bildiğimiz an, kredi skorunun neden eksik olduğunu tam olarak açıklayabiliyoruz.

Burada eksik değerlere müdahale Regresyon veya ilgili özellikleri kullanarak eksik değerleri doldurmak gibi daha gelişmiş atama yöntemleri faydalı olabilir.

Rastgele Eksik Olmayan Veri — Missing Not at Random (MNAR)

Geldik eksik veri türlerinin en “gizemli”, en tehlikeli ama yarışmalarda en çok ödül getiren türüne.

MNAR’da, eksikliğin nedeni hem gözlemlenebilir değişkenlerle hem de eksik olan veri değeriyle ilişkilidir. Başka bir deyişle, eksikliğin meydana gelme olasılığı, hem diğer değişkenlere bağlıdır hem de eksik olan değerin kendisi tarafından etkilenir.

Bir telekomünikasyon şirketi veya bir SaaS platformunun Kaggle’da açtığı “Müşteri Terk Tahmini (Churn Prediction)” yarışmasını ele alalım. Veri setimizde müşterilerin müşteri hizmetleriyle yaptığı görüşmelerden sonra bıraktıkları memnuniyet_skoru (1–10 arası) adında bir sütun var ve bu sütunda ciddi boşluklar mevcut.

Veriyi derinlemesine incelediğimizde şunu fark ediyoruz: Sistemi halihazırda terk etmiş (churn olmuş) veya terk etmek üzere olan kullanıcıların neredeyse hiçbirinin memnuniyet skoru yok, o hücreler tamamen boş.

Bu kullanıcılar müşteri hizmetleriyle o kadar kötü bir deneyim yaşamışlar ki, o sinirle anketi doldurmadan telefonu kapatmışlar ya da uygulamayı silmişler. Yani o verinin eksik olma sebebi, eğer doldurulsaydı o skorun “1” veya “2” (çok düşük) olacak olmasıdır. Eksikliğin nedeni doğrudan değerin kendisidir.

Bu tür rastgele olmayan kayıp değerlerde yanlılık söz konusudur. Basit yöntemlerle çözülemeyebilir. Ele alınması için genellikle alan bilgisi veya eksikliği ayrı ayrı modelleme gibi özel teknikler gerektirir.

Teşhisi Koyduk, Peki Ya Tedavi?

Verimizdeki eksikliğin türünü anlamak işin ilk ve en kritik adımıydı. Serinin bir sonraki yazısında bu teorik bilgileri tamamen pratiğe döküyoruz; kendi veri setinizdeki eksikliklerin yapısını nasıl tespit edeceğinizi ve bunları en doğru yöntemlerle nasıl ele alacağınızı adım adım inceleyeceğiz. Takipte kalın!

Bu yazı, veri bilimi topluluğuna katkı sağlamak amacıyla ortaklaşa kaleme alınmıştır.

[embed]Batuhan Bilgili - Medium Read writing from Batuhan Bilgili on Medium. Veri bilimi ve makine öğrenmesine ilgi duyuyorum ve ilgilendiğim alanlarla…medium.com