Feature Selection (Özellik Seçimi) Nedir?

Bu yazımızda, özellik seçiminin ne olduğunu, neden gerekli olduğunu ve nasıl yapıldığını detaylı bir şekilde ele alacağız. Özellik seçimi, basitçe söylemek gerekirse, veri kümenizde bulunan bazı önemli bilgileri ayıklama işlemine denir. Elimizde, vücut geliştirme ile uğraşan kişilerin verileri olduğunu düşünelim. Bu veri kümesinde, kişilerin aldığı besinler, boyları, egzersiz süreleri, kas kütleleri, sigara kullanımları gibi birçok özellik (değişken) olabilir. Ancak, tüm bu değişkenler modelin performansını artırmayabilir. Bu yüzden, modelleme sürecinde en etkili olan özelliklerin seçilmesi gerekir. Özellik seçimi, modelin performansını artırmanın yanı sıra daha hızlı ve anlaşılabilir sonuçlar elde etmenizi sağlar.

Bu işleme başlamadan önce neden özellik seçimi yapmalıyız ondan bahsedelim.

1. Model performansını artırır: Özellikler arasında gereksiz veya hedefe az etkisi olanlar elendiğinde kullanılan model daha hızlı ve güvenilir sonuçlar verebilir. Örneğin, kişilerin boylarının vücut geliştirme başarısı üzerinde etkisi az ise bu özellik elenmelidir.
2. Hız ve verimlilik sağlar: Daha az özellik, modelin eğitim süresini kısaltır ve hem daha verimli sonuçlar üretir hem de model üzerine harcanan para daha aza indirgenir.
3. Anlaşılabilirlik sağlar: Modelin daha basit ve anlaşılabilir hale gelmesi, sonuçların da daha kolay bir şekilde yorumlanabilmesine olanak sağlar. Örneğin, egzersiz süreleri ve protein alımlarının başarı üzerindeki etkisini daha net görebilirsiniz.

Özellik Seçimi Yöntemleri

Her yiğidin bir yoğurt yiyişi vardır, derler. Bu atasözünden yola çıkarak, özellik seçimi konusunda da birden fazla yöntem olduğunu söyleyebiliriz. Bu yazıda Filtreleme Yöntemi üzerinde duracağız. Ancak, Sarmal Yöntemler ve Gömülü Yöntemler gibi diğer yöntemler de mevcut, dolayısıyla konunun tamamını keşfetmek isterseniz diğer yöntemlere de göz atabilirsiniz.

Filtreleme Yöntemi

Filtreleme Yöntemi, adı üstünde, çeşitli koşullar koyarak özellikleri eleme işlemidir. Özellikleri değerlendirmek için belirli kriterler kullanılır ve bu kriterlere göre en önemli özellikler seçilir. İki ana başlık altında işlem yapabiliriz: Sayısal ve Kategorik.

a. Sayısal Özellikler için Filtreleme

Sayısal verilerle çalışırken, Korelasyon Katsayısı Yöntemi yaygın olarak kullanılan bir yöntemdir.

Korelasyon Katsayısı;

• Korelasyon katsayısı, -1 ile 1 arasında değer alır ve yaklaştığı değere göre sınıflandırılır.

Korelasyon Değerleri Düzlemi

Pearson Korelasyon Katsayısı Formülü

Birkaç hipotez kurarak bu yöntemi daha anlaşılır hale getirelim!

Hipotez 1: Egzersiz süresü, kas kütlesini etkiler mi?

Hipotez 2: Günlük tüketilen sigara adeti, egzersiz süresini etkiler mi?

Hipotez 3: Egzersiz. süresi, boyu etkiler mi?

Hipotezleri değerlendirmeden önce gerekli kütüphaneleri kullanarak korelasyonlarını ısı haritalarıyla gösterelim!

import matplotlib.pyplot as plt
fig, axs = plt.subplots(1, 3, figsize=(6, 3))
sns.heatmap(df.corr(), annot=True, cmap='YlGnBu', fmt='.2f', ax=axs[0])
axs[0].set_title('Egzersiz süresi, kas kütlesini etkiler mi?')
sns.heatmap(df2.corr(), annot=True, cmap='YlGnBu', fmt='.2f', ax=axs[1])
axs[1].set_title('Sigara adeti, egzersiz süresini etkiler mi?')
sns.heatmap(df3.corr(), annot=True, cmap='YlGnBu', fmt='.2f', ax=axs[2])
axs[2].set_title('Egzersiz süresi, boyu etkiler mi?')
plt.tight_layout()
plt.show()

Isı Haritaları

Isı haritalarında da gördüğümüz gibi, ilk hipotezimiz için egzersiz süresinin kas kütlesini olumlu yönde etkilediğini söyleyebiliriz. Egzersiz süreniz arttıkça kas kütleniz de artacaktır.

İkinci hipotezimizde ise, günlük sigara tüketiminin artmasının egzersiz sürenizi olumsuz yönde etkilediğini söyleyebiliriz.

Son olarak, üçüncü hipotezimizde egzersiz süresi ile boy ölçüsü arasında anlamlı bir ilişki olmadığını gözlemliyoruz. Bu nedenle, boy ölçüsünün veri setinden çıkarılması ve modelleme aşamasında dikkate alınmaması gerektiğini söyleyebiliriz.

Korelasyon Katsayısının bazı avantaj ve dezavantajları mevcuttur.

Avantajları;

• Hızlı ve kolay hesaplanabilir olması,
• İki sürekli değişken arasında bulunan doğrusal ilişkileri gösterebilmesi

Dezavantajları;

• Sadece doğrusal ilişkileri ölçmesi,
• Aykırı değerler üzerinde çok hassas olması

b. Kategorik Özellikler için Filtreleme

Kategorik verilerle çalışırken çoğunlukla Ki-Kare Testi kullanılır.

Ki Kare;

• Bu test iki kategorik değişken arasındaki ilişkiyi ölçer ve gözlemlenen ile beklenen değer arasındaki farkı değerlendirir. Seçilen iki kategorik değişkenin bağımlı mı bağımsız mı olduğunu test eder.

Ki Kare Formülü

Örneğin, kişinin yaptığı antrenman türü ile günlük makro alımının arasında ilişki var mı kontrol edebiliriz.

Gözlemlenen ve beklenen frekanslar tablosuna bakarak Ki Kare değerlerini ve p değerlerini hesaplayabiliriz. Bu işlem basamağında python dilinde halihazırda bulunan Ki kare hesaplama fonksiyonunu kullanacağız!

from scipy.stats import chi2_contingency
chi2, p = chi2_contingency(df)
print("Ki-Kare Değeri:", chi2)
print("p-değeri:", p)

İşlem sonucunda bize Ki Kare ve p değerlerini vermiş oldu. Kurmuş olduğumuz hipotezin sonucunu p değerinin 0.05 değerinden büyük olup olmadığına göre karar verebiliyoruz. Burada baktığımızda p değeri 0.0541 yani 0.05 değerinden büyük olduğu için “kişinin yaptığı antrenman türü ile günlük makro alımı arasında ilişki vardır.” şeklinde olacaktır.

Sonuç

Sonuç olarak, özellik seçimi, veri biliminin kritik bir adımıdır ve modelin başarısını önemli ölçüde etkileyebilir. Filtreleme yöntemleri, özellikle sayısal ve kategorik özelliklerin analizinde, veri setindeki gereksiz veya etkisiz özellikleri ayıklamak için güçlü araçlardır. Korelasyon katsayısı ve Ki-Kare testi gibi teknikler, hangi özelliklerin model performansını artırabileceğini belirlemek için kullanılabilir. Bu yöntemlerin avantajları hızlı ve etkili sonuçlar elde etmenizi sağlarken, bazı dezavantajlar da göz önünde bulundurulmalıdır. Özellikle doğrusal ilişkilerin ötesindeki karmaşık ilişkiler veya aykırı değerlerin etkileri gibi faktörler dikkate alınmalıdır. Özellik seçimi süreci, modelinizin verimliliğini ve açıklanabilirliğini artırarak, daha iyi ve güvenilir sonuçlar elde etmenize yardımcı olabilir. Bu nedenle, özellik seçimi yaparken dikkatli ve bilinçli bir yaklaşım benimsemek önemlidir.