Veri Biliminde Aykırı Değer İşleme (Outlier Handling) Nedir ve Neden Önemlidir?

Gerçek dünya verileri çoğu zaman kusursuz değildir. Ölçüm hataları, veri giriş hataları ya da nadir gerçekleşen olaylar nedeniyle bazı veri noktaları genel dağılımdan ciddi şekilde sapabilir. İşte bu noktalar aykırı değer (outlier) olarak adlandırılır.

Aykırı değerler, veri bilimi ve makine öğrenmesi projelerinde göz ardı edilmemesi gereken önemli unsurlardır. Çünkü doğru ele alınmadıklarında model performansını ciddi şekilde etkileyebilirler.

Aykırı Değer (Outlier) Nedir?

Aykırı değer, veri setindeki genel trendden belirgin şekilde farklı olan ve diğer gözlemlerden uzak bulunan veri noktasıdır.

Örneğin:

• Bir sınıftaki öğrencilerin boy ortalaması 170 cm iken bir kaydın 210 cm olması
• Günlük satış ortalaması 100 adetken bir gün 10.000 satış görünmesi

Bu tür değerler veri setinde “normal dışı” kabul edilir.

Makine öğrenmesi bağlamında aykırı değerler:

• Modelin yanlış öğrenmesine yol açabilir
• Tahmin sonuçlarını bozabilir
• Modelin genelleme yeteneğini düşürebilir

Aykırı Değer Tespitinin Önemi

Aykırı değerleri tespit etmek ve doğru şekilde ele almak, model kalitesini doğrudan etkiler.

Başlıca faydaları:

• Model performansını iyileştirir
• Model hassasiyetini artırır
• Modelin yorumlanabilirliğini artırır
• Veri kalitesini yükseltir

Bazı durumlarda aykırı değerler hatalı veri değil, gerçekten önemli bilgiler de olabilir (örneğin dolandırıcılık işlemleri). Bu nedenle silmeden önce analiz edilmelidir.

Aykırı Değer Tespit Yöntemleri

1️⃣ Standart Sapma Yaklaşımı

Bu yöntemde verilerin ortalamadan ne kadar uzaklaştığı ölçülür.

Genel kabul: Bir değer ortalamadan 3 standart sapmadan fazla uzaksa aykırı değer olarak değerlendirilir.

Sebebi: Normal dağılımda verilerin %99.7’si ±3 standart sapma içinde yer alır. Bunun dışındaki değerler oldukça nadirdir.

2️⃣ Box Plot (Kutu Grafiği) Yöntemi

Box plot, aykırı değerleri görsel olarak tespit etmeyi sağlar.

Bu yöntemde IQR (Interquartile Range) kullanılır.

Formüller:

• Alt sınır = Q1 − 1.5 × IQR
• Üst sınır = Q3 + 1.5 × IQR

Bu aralığın dışındaki değerler aykırı kabul edilir.

Avantajı: Dağılım normal olmasa bile işe yarar.

3️⃣ Z-Skoru Yöntemi

Z-skoru, bir değerin ortalamadan kaç standart sapma uzakta olduğunu gösterir.

Mantık: Z = (x − ortalama) / standart sapma

Genellikle: |Z| > 3 ise aykırı değer olarak değerlendirilir.

Bu yöntem özellikle normal dağılıma yakın verilerde etkilidir.

4️⃣ LOF (Local Outlier Factor)

LOF, yoğunluk tabanlı bir aykırı değer tespit yöntemidir.

Bir veri noktasının çevresindeki komşularına göre ne kadar izole olduğunu ölçer.

Mantık:

• Eğer bir noktanın bulunduğu bölgedeki yoğunluk komşularına göre düşükse aykırı kabul edilir
• Yerel yoğunluk farklarını dikkate alır

Avantajı: Karmaşık ve düzensiz veri dağılımlarında başarılı sonuç verir.

Sonuç

Aykırı değerler veri bilimi projelerinde küçük bir detay gibi görünse de model performansı üzerinde büyük etkiye sahiptir.

Doğru şekilde tespit edilip analiz edilmediklerinde:

• Yanlış sonuçlara
• Düşük model performansına
• Yanıltıcı çıkarımlara yol açabilirler

Bu nedenle her veri bilimi projesinde aykırı değer analizi, veri ön işleme sürecinin önemli bir parçası olmalıdır.

Bu konuları video anlatımlarla tekrar etmek isterseniz, **BTK Akademi’deki Makine Öğrenmesi eğitimine** bakabilirsiniz.