Veri Bilimi ve Bulut Bilişim: CRISP-DM, Veri Kalitesi ve Huawei Cloud ECS ile Altyapı Yönetimi

Giriş

Gelişen teknolojiyle birlikte yapay zekâ ve veri bilimi projeleri kurumsal sistemlerin merkezine yerleşti. Ancak sektör genelinde yapılan araştırmalar, veri projelerinin önemli bir kısmının canlı ortama taşınamadan veya beklenen katma değeri sağlayamadan başarısız olduğunu gösteriyor. Bu başarısızlığın temelinde iki ana neden yatar: Süreçlerin standart bir metodolojiye oturtulamaması sonucunda oluşan kalitesiz veri ve hazırlanan çözümlerin gereksinim duyduğu bulut altyapısının doğru kurgulanamaması.

Veri bilimi disiplini, yalnızca kod satırlarından veya karmaşık algoritma seçimlerinden ibaret değildir. Ham verinin toplanmasından işlenmesine, model kalitesinin artırılmasından esnek bulut sunucularında barındırılmasına kadar uzanan uçtan uca bir sistem mimarisi gerektirir.

Bu rehberde; veri projelerinin dünyaca kabul gören yol haritası CRISP-DM metodolojisini, model başarısını doğrudan etkileyen veri kalitesi ve veri temizliği standartlarını ve bu süreçlerin arka planını oluşturan Huawei Cloud ECS sunucu kurulumları, ağ erişim kuralları ile terminal tabanlı sorun giderme (troubleshooting) tekniklerini detaylarıyla inceliyoruz.

Veri Projelerinin Metodolojik Omurgası: CRISP-DM

CRISP-DM Akış Diyagramı - Kaynak: Wikimedia Commons

Bir veri projesinde yapılan en büyük stratejik hata, projenin amacını ve eldeki verinin karakteristik yapısını kavramadan doğrudan kod yazmaya başlamaktır. CRISP-DM (Cross-Industry Standard Process for Data Mining), karmaşık veri projelerini yönetilebilir, ölçülebilir ve tekrarlanabilir aşamalara bölen endüstri standardı bir süreç modelidir.

CRISP-DM birbiriyle sürekli iletişim hâlinde olan 6 ana evreden oluşur:

1. Business Understanding (İş İhtiyacını Anlama)

Projenin temel hedeflerinin, başarı kriterlerinin ve iş gereksinimlerinin belirlendiği aşamadır.

• Çözülmek istenen problemin iş tanımı net bir şekilde yapılır.
• Projenin teknik başarı kriterleri ile iş hedefleri eşleştirilir.
• Mevcut kaynaklar, riskler ve projenin kısıtları analiz edilir.

2. Data Understanding (Veriyi Anlama)

Proje hedefleri doğrultusunda verinin ilk keşif adımları atılır.

• Farklı veri kaynaklarından (veritabanları, API’ler, ham dosyalar) veriler toplanır.
• Veri setinin hacmi, sütun yapıları, veri tipleri ve temel istatistiksel özetleri incelenir.
• Verideki ilk uyumsuzluklar, eksiklikler ve verinin genel sağlık durumu değerlendirilir.

3. Data Preparation (Veri Hazırlığı)

Modelleme öncesinde ham verinin işlenerek yüksek kaliteli bir veri setine dönüştürüldüğü, genellikle projenin en çok zaman alan aşamasıdır.

• Gürültülü ve uyumsuz veriler ayıklanır.
• Eksik veriler tespit edilerek uygun stratejilerle ele alınır.
• Aykırı değerler temizlenir veya sınırlandırılır.

4. Modeling (Modelleme)

Hazırlanan temiz veri seti üzerinde uygun algoritma ve yöntemlerin çalıştırıldığı evredir.

• Probleme uygun teknikler (sınıflandırma, regresyon, kümeleme vb.) seçilir.
• Veri seti eğitim ve test kümelerine ayrılarak modeller eğitilir.
• Model parametreleri optimize edilir.

5. Evaluation (Değerlendirme)

Eğitilen modelin sadece teknik başarısının değil, ilk aşamada belirlenen iş hedeflerini ne kadar karşıladığının test edildiği aşamadır.

• Model metrikleri ve doğruluk oranları incelenir.
• Modelin gerçek hayat senaryolarında beklenen performansı verip vermediği doğrulanır.
• İş hedefleri karşılanmıyorsa, önceki adımlara geri dönülür.

6. Deployment (Dağıtım)

Başarıyla değerlendirilen modelin ve veri akışlarının canlı ortama taşınmasıdır.

• Model ve ilgili veri ön işleme adımları bulut sunucularına (örneğin Huawei Cloud ECS) aktarılır.
• Canlı sistemlerle entegrasyon sağlanır ve sistemin izleme süreçleri başlatılır.

Önemli İlke: CRISP-DM çizgisel bir yolculuk değil, döngüsel bir süreçtir. Örneğin, Değerlendirme aşamasında elde edilen sonuçlar yetersiz çıktığında, sorun algoritmanın kendisinde değil, Veri Hazırlığı adımındaki bir eksiklikte olabilir. Bu durumda sürece geri dönülerek veri kalitesi artırılır.

2. Model Performansının Belirleyicisi: Veri Kalitesi ve Veri Temizliği

Yapay zekâ ve makine öğrenmesi literatüründe sıklıkla vurgulanan “Garbage In, Garbage Out” (Çöp Girerse Çöp Çıkar) prensibi, model başarısının algoritmadan önce veri kalitesine bağlı olduğunu ifade eder. Kalitesiz, eksik ve aykırı değerlerle dolu bir veri setiyle en gelişmiş modeller bile hatalı sonuçlar üretir.

A. Eksik Veri (Null Value) Analizi ve Yönetimi

Gerçek dünya veritabanlarından çekilen verilerde sistem hataları, kullanıcı eksiklikleri veya veri aktarım problemleri nedeniyle boş değerler bulunur. Eksik verilerin doğru yönetilmesi modelin tarafsızlığı için şarttır.

Eksik verilerle mücadelede kullanılan temel teknikler:

• Silme Yöntemleri: Eksik veritabanı kayıtlarının oranı oldukça düşükse (örneğin yüzde bir ile yüzde beş arasında) ve veri setinin genel temsil yeteneğini bozmuyorsa, eksik veri içeren satırlar veya ilgili sütunlar silinebilir. Ancak yüksek oranlı silmeler veri kaybına ve yanlılığa yol açar.
• İstatistiksel Atama (Imputation): Veri kaybını önlemek amacıyla boş değerler sözel ve sayısal istatistiksel yöntemlerle doldurulur:
• Ortalama Ataması: Dengeli dağılım gösteren sayısal sütunlarda boş değerler, o sütunun genel ortalaması hesaplanarak doldurulur.
• Medyan Ataması: Veri setinde aşırı değerler veya sapmalar varsa, ortalama değeri yanıltıcı olabileceğinden, ortanca değer yani medyan kullanılır.
• Mod Ataması: Kategorik (sözel) verilerdeki boşluklar için o sütunda en sık tekrar eden değer atanır.

B. Aykırı Değer (Outlier) Analizi ve Tespiti

Aykırı değer, veri setindeki genel eğilimin veya dağılımın belirgin şekilde dışına çıkan, aşırı büyük ya da aşırı küçük verilerdir. Aykırı değerler istatistiksel dengeleri bozar, ortalamayı kaydırır ve modellerin yanlış öğrenmesine neden olur.

Aykırı değer tespitinde kullanılan temel sözel yaklaşımlar:

1. Çeyrekler Arası Aralık Yöntemi (IQR)

Verinin çeyreklik dilimlerine dayanan, verinin genel yapısından bağımsız güvenilir bir yöntemdir.

• Veri küçükten büyüğe sıralandıktan sonra yüzde yirmi beşlik dilimi (birinci çeyrek) ve yüzde yetmiş beşlik dilimi (üçüncü çeyrek) hesaplanır.
• Bu iki çeyrek arasındaki fark belirlenerek çeyrekler arası aralık bulunur.
• Birinci çeyreğin gerisine doğru çeyrekler arası aralığın bir buçuk katı kadar gidilerek alt sınır, üçüncü çeyreğin ilerisine doğru yine bir buçuk katı kadar gidilerek üst sınır belirlenir.
• Bu sınırların tamamen dışında kalan tüm değerler aykırı değer olarak etiketlenir.

2. Standart Sapma ve Z-Skoru Yöntemi

Verinin ortalamadan kaç standart sapma uzaklıkta olduğunu ölçen bir yöntemdir.

• Her bir veri noktasının ortalamaya olan mesafesi standart sapmaya bölünür.
• Genel bir kabul olarak, ortalamanın üç standart sapma üstünde veya üç standart sapma altında kalan aşırı değerler aykırı kabul edilir.

Aykırı Değerleri Ele Alma Yöntemleri:

• Baskılama (Capping): Aykırı değerleri silmek yerine, onları belirlenen üst veya alt sınır eşik değerine eşitlemektir. Örneğin üst sınırı aşan aşırı büyük bir değer, doğrudan izin verilen üst sınır değerine yuvarlanır.
• Temizleme (Trimming): Aykırı verilerin veri setinden tamamen çıkarılması işlemidir.

3. Bulut Altyapısı ve Sunucu Yönetimi: Huawei Cloud ECS

Veri kalitesi standartları sağlandıktan sonra, hazırlanan sistemlerin güvenilir, ölçeklenebilir ve kesintisiz bir ortamda çalışması gerekir. Yerel bilgisayarlar bellek kısıtları, donanım yetersizlikleri ve kesintisiz çalışma gereksinimleri nedeniyle üretim ortamı için uygun değildir. Bu noktada devreye bulut sunucu çözümleri girer.

Huawei Cloud Elastic Cloud Server (ECS), bulut üzerinde esnek, ölçeklenebilir ve güvenli sanal sunucu kaynakları sağlayan bir altyapı hizmetidir.

A. ECS Üzerinde Sunucu Dağıtımı (Server Deployment)

Bulut altyapısında projenin gereksinimlerine göre doğru sunucu konfigürasyonunu seçmek esastır:

• İşletim Sistemi Seçimi: Projenin bağımlılıklarına göre Linux dağıtımları (Ubuntu Server, CentOS, EulerOS) veya Windows Server altyapıları tercih edilir. Veri bilimi ve sistem yönetiminde hafifliği, kararlılığı ve terminal esnekliği nedeniyle genellikle Linux mimarileri öne çıkar.
• Kaynak Ölçekleme: Sunucunun ihtiyaç duyduğu işlemci çekirdek sayısı (vCPU), bellek miktarı (RAM) ve depolama alanı belirlenir. İş yükü arttıkça ECS kaynakları esnek şekilde ölçeklenebilir.
• Erişim Güvenliği: Linux sunuculara güvenli erişim için şifre tabanlı girişler yerine SSH anahtar çiftleri yapılandırılır. Windows sunucularda ise Uzak Masaüstü Bağlantısı (RDP) kullanılır.

4. Ağ Güvenliği, Erişim Kuralları ve Sorun Giderme (Troubleshooting)

Bir bulut sunucusunu ayağa kaldırmak sürecin sadece ilk adımıdır. Sunucunun dış dünyayla veya diğer veri kaynaklarıyla güvenli bir şekilde iletişim kurabilmesi için ağ ve güvenlik katmanlarının doğru kurgulanması gerekir.

A. Güvenlik Grupları (Security Groups) ve Ağ Erişim Kuralları

Huawei Cloud ECS mimarisinde Security Group, sanal sunucuların ağ trafiğini kontrol eden sanal bir güvenlik duvarı işlevi görür.

• Gelen Trafik Kuralları (Inbound Rules): Dış dünyadan veya belirli IP adreslerinden sunucuya gelen erişim isteklerini düzenler. Örneğin Linux yönetimi için SSH portu (Port 22), web servisleri için HTTP portları (Port 80 ve 443), Windows yönetimi için RDP portu (Port 3389) gibi belirli geçişlere izin verilir.
• Giden Trafik Kuralları (Outbound Rules): Sunucunun dışarıdaki servisler ile kurduğu iletişimi kontrol eder.
• IP Sınırlandırma ve Güvenlik Listeleri: Sunucuları tüm internet trafiğine tamamen açık bırakmak yerine, sadece belirlenen güvenli IP bloklarına erişim izni verilerek ağ güvenliği üst seviyeye çıkarılır.

B. Terminal Üzerinden Sorun Giderme (Troubleshooting)

Bulut ortamında sunuculara erişim problemleri veya ağ kopuklukları yaşandığında, sorunun kaynağını tespit etmek için terminal komut satırı üzerinden hata ayıklama adımları uygulanır.

Uygulamalı sorun giderme adımları:

1. Fiziksel Bağlantı ve Ağ Kontrolü

Sunucunun ağda erişilebilir olup olmadığını test etmek için ping komutu çalıştırılır:

ping <sunucu_ip_adresi>

Eğer veri paketi kaybı yaşanıyorsa, sorun sunucunun kapalı olmasından veya güvenlik grubunun bu trafiği engellemesinden kaynaklanabilir.

2. Port ve Soket Dinleme Kontrolü

İlgili servisin sunucu üzerinde gerçekten çalışıp çalışmadığını ve doğru portu dinleyip dinlemediğini kontrol etmek için port dinleme komutları kullanılır:

sudo ss -tulpn

3. Uzak Port Erişim Testi (Troubleshooting)

Sunucuda servis çalışıyor ancak dışarıdan erişilemiyorsa, engelleyici unsurun Güvenlik Grubu (Security Group) veya işletim sistemi güvenlik duvarı olup olmadığını anlamak için port seviyesinde istek atılır:

nc -zv <sunucu_ip_adresi> 22

Eğer bağlantı hatası veya zaman aşımı (timeout) alınıyorsa, Huawei Cloud konsolu üzerindeki gelen trafik kuralları (Inbound Rules) kontrol edilir ve ilgili portun geçişine izin verilerek sorun giderilir.

Sonuç

Modern veri yönetimi ve bulut mimarileri bir madalyonun iki yüzü gibidir. CRISP-DM metodolojisiyle disipline edilmiş bir süreç vizyonu ve bu vizyonu besleyen yüksek kaliteli, temizlenmiş veri setleri, veri biliminin analitik omurgasını oluşturur.

Bu analitik omurgayı canlı ortamda taşıyacak olan yapı ise Huawei Cloud ECS gibi esnek bulut sunucuları, doğru yapılandırılmış ağ erişim kuralları ve olası aksaklıklarda hızlı müdahale sağlayan terminal tabanlı sorun giderme yetkinlikleridir. Veri kalitesi ile bulut altyapı disiplini bir araya getirildiğinde, hem güvenilir hem de ölçeklenebilir sistemler inşa etmek mümkün hâle gelir.

Kaynakça ve Referanslar

1. Wirth, R., & Hipp, J. (2000). CRISP-DM: Towards a standard process model for data mining. Proceedings of the 4th International Conference on the Practical Applications of Knowledge Discovery and Data Mining.
2. Huawei Cloud Documentation. Elastic Cloud Server (ECS) User Guide & Network Configuration. https://support.huaweicloud.com/ecs/index.html
3. Dasu, T., & Johnson, T. (2003). Exploratory Data Mining and Data Cleaning. John Wiley & Sons.