Büyük Görüntü Veri Setleriyle Çalışırken Bulut Tabanlı EDA ve Ön İşleme Süreçleri

Modeller her geçen gün daha karmaşık ve derin bir hal alsa da, yapay zekanın gerçek gücü artık algoritmaların mimarisinde değil, onları besleyen verinin saflığında ve işlenme hızında yatıyor; işte yüzlerce gigabaytlık görüntü setlerini bulutun gücüyle dize getiren ‘Veri Merkezli’ (Data-Centric) yaklaşımın anatomisi.

Yapay zeka ekosisteminde yıllardır süren bir yarış var: “Kim daha derin, kim daha büyük bir model yapacak?” Ancak Andrew Ng’nin 2021'de başlattığı Veri Merkezli Yapay Zeka (Data-Centric AI) hareketi, bu yarışı farklı bir boyuta taşıdı. Artık sır, kodu ve modeli sabit tutup, veriyi iyileştirmekte.

Özellikle yüzlerce gigabaytlık, hatta terabaytlarca boyutlara ulaşan devasa görüntü (computer vision) veri setleriyle çalışırken, bilgisayarımızdaki birkaç Python satırıyla veri temizlemek artık imkansız. Gelin, model eğitiminden hemen önceki o “karanlık ama kritik” aşamaya, yani bulut tabanlı Keşifsel Veri Analizi (EDA) ve ön işleme (preprocessing) dünyasına yakından bakalım.

1. Bulut Depolamanın Gizli Tuzağı: “Küçük Dosya” Problemi

Geleneksel olarak yapay zeka eğitimlerinde veriyi “indir ve eğit” mantığı kullanılırdı. Ancak veriniz milyonlarca JPEG’den oluşuyorsa, bu dosyaları bulut depolama sistemlerinden (Amazon S3, Google Cloud Storage vb.) tek tek çekmek büyük bir kabusa dönüşür.

Bulut sistemlerinde, boyutu ne olursa olsun bir dosya indirmek için atılan her istek bir ağ gecikmesi yaratır. 15 kilobaytlık bir milyon görseli tek tek indirmek demek, zamanınızın çoğunu veri aktarımına değil, bağlantı gecikmelerine harcamanız demektir.

Çözüm nedir? Artık modern bulut veri hatları (pipeline), milyonlarca görseli yüzlerce megabaytlık büyük dosyalar (tar, parquet) halinde paketleyerek “akış” (streaming) yöntemiyle doğrudan modelin belleğine taşıyor. Böylece I/O (girdi/çıktı) performansı 10 kata kadar artırılabiliyor.

2. Bulutta EDA: İndirmeden Analiz Etmek

Yüz binlerce uydu görüntüsü veya tıbbi tarama verisi içeren bir seti, EDA (Keşifsel Veri Analizi) yapmak için bilgisayarınıza indiremezsiniz.

Modern bulut tabanlı notebook ortamlarında (SageMaker, Databricks vb.) analizler artık doğrudan pikseller üzerinden değil, meta veriler (metadata) üzerinden yapılıyor. Hangi sınıfın ne kadar temsil edildiğini, renk dağılımlarını veya hatalı etiket oranlarını görmek için tüm veriyi indirmek yerine, bulut üzerinde çalışan dağıtık sistemler (Spark, Ray) ile saniyeler içinde devasa verinin “röntgenini” çekebiliyoruz.

3. GPU Açlığı (GPU Starvation): Güçlü Donanımları Bekletmek

Eğitim esnasında en pahalı kaynak şüphesiz GPU’lardır. Peki ya GPU, işleyecek veri bulamadığı için boşta bekliyorsa?

Model eğitiminde, görüntülerin diskten okunması, JPEG formatından tensörlere dönüştürülmesi, yeniden boyutlandırılması (resizing) ve rastgele döndürme gibi veri artırma (augmentation) işlemleri genellikle CPU (işlemci) tarafından yapılır. Ancak CPU’lar bu işlemlerde GPU’nun veri yutma hızına yetişemez. V100 gibi bir GPU saniyede binlerce görseli işleyebilirken, CPU saniyede sadece yüzlerce görsel hazırlayabilirse, GPU “aç kalır”.

Çözüm: NVIDIA DALI gibi teknolojilerle, görüntü kod çözme ve veri artırma gibi ağır işleri CPU’nun elinden alıp, doğrudan GPU’nun içine taşıyoruz. Böylece pahalı ekran kartları tam kapasitede çalışıyor ve devasa modellerin eğitim süresi günlerden saatlere iniyor.

4. Bozuk Dosya ve Çift Veri Avı

İnternetten kazınmış (scraping) veri setleri gürültülüdür. İçinde yarıda kesilmiş indirmeler, sıfır baytlık dosyalar veya tamamen kopya görseller barındırır. Model eğitiminde denk gelinen tek bir bozuk görsel bile tüm eğitimi çökertebilir.

Bunun önüne geçmek için bulut tabanlı ön işleme adımlarında Algısal Özetleme (pHash) gibi mekanizmalar kullanılır. Bu sistemler binlerce bulut işlemcisinde aynı anda çalışarak, milyonlarca görsel arasından aynı olanları bulup temizler ve bozuk dosyaları tespit ederek modelin önüne gitmesini engeller.

5. Sonuç: Veri Kalitesinin Dramatik Etkisi

Tüm bu zahmetli bulut operasyonlarının, veri akışını düzenlemenin ve ön işlemenin tek bir amacı var: Modele saf ve doğru bir veri sunmak.

Bunun ne kadar kritik olduğunu kanıtlayan somut örnekler var. Örneğin, endüstriyel bir çelik üretim hattındaki hata tespit sisteminde, modelin koduna (mimariye) hiç dokunmadan, sadece veriyi temizleyip etiket tutarsızlıklarını gidererek doğruluk oranı (accuracy) %76'dan %93'e çıkarılmıştır.

Aynı şekilde, çok bilinen ImageNet veri setinde bile yaklaşık %6 oranında etiket hatası olduğu kanıtlanmıştır. Kirli verilerle çalışırken karmaşık ve devasa modeller (örneğin ResNet-50) gürültüyü ezberleyerek başarılıymış gibi görünür. Ancak veri temizlendiğinde, daha küçük ve basit modellerin (örneğin ResNet-18) aslında devleri geride bıraktığı görülür.

Özetle

Geleceğin yapay zeka başarıları, ne kadar zeki algoritmalar yazdığımızla değil, o algoritmaları beslediğimiz verileri bulutta ne kadar hızlı, temiz ve akıllıca işleyebildiğimizle ölçülecek. Veriniz pürüzsüz akıyorsa, modeliniz de pürüzsüz öğrenecektir.

Başka yazılarda görüşmek dileğiyle…

Kaynakça / Referanslar

• Veri Merkezli Yapay Zeka (Data-Centric AI) ve Endüstriyel Hata Tespiti Vakası: Ng, A. (2021). A Chat with Andrew on MLOps: From Model-centric to Data-centric AI. DeepLearning.AI.
• ImageNet Veri Setindeki Etiket Hataları (%6'lık Hata Oranı): Northcutt, C. G., Athalye, A., & Mueller, J. (2021). Pervasive Label Errors in Test Sets Destabilize Machine Learning Benchmarks. arXiv preprint arXiv:2103.14749.
• CPU/GPU Darboğazı (GPU Starvation) ve NVIDIA DALI: NVIDIA Corporation. NVIDIA Data Loading Library (DALI) Documentation.
• Bulut Depolamada “Küçük Dosya” Problemi ve Veri Akışı (Streaming): WebDataset (PyTorch). High-Performance Data Loading for PyTorch and Cloud Storage.
• https://360digit.b-cdn.net/uploads/blog/7cb311c355ff80bb4a34e1faba04fb2e.png
• https://www.shutterstock.com/image-photo/captivating-image-hand-reaching-toward-data-2760888991